_
研究内容

清华大学类脑计算研究中心于2014年9月创立, 是目前国内唯一一个进行全方位类脑智能研究的团队,涉及基础理论、类脑芯片、软件、系统和应用等多个层面。创立该中心的宗旨是突破类脑智能关键技术,发展通用人工智能。由于此项研究涉及信息、生物、物理、数学、材料、微电子等多个学科领域,在单一学科的框架下无法解决问题。由此,该中心由清华大学校内7家院系所联合而成,融合了脑科学、电子、微电子、计算机、自动化、材料以及精密仪器等学科,拟建设成一个具备多学科深度交叉融合能力的研究中心,从不同层面进行全方位的立体创新,发展以脑认知与信息科学为基础的类脑智能计算新范式,研究类脑计算系统新架构、新硬件、新软件和新算法,开发类脑智能技术及应用产品,推动类脑计算系统的发展。

背景介绍:

当前,计算机技术面临两个重要的瓶颈:存储器和中央处理器分离“冯诺依曼”架构导致的存储墙效应造成能效低下,和引领半导体发展的摩尔定律预计在未来数年内失效。为应对上述挑战,借鉴人脑发展类脑计算技术已被国际半导体技术发展指南制定为重要的替代方案,欧盟,美国,英国,日本,韩国等国过都在大力推进脑科学或神经科学等相关领域的科学研究。

2016年被誉为是类脑计算机元年,美、英、德相继推出了第一款类脑计算机,这是通往人工通用智能的关键基础。该领域目前仍处于起步阶段,尚未形成公认的技术方案。

有鉴于此,中心正致力于基于天机系列芯片的类脑系统的研发,于2015年11月成功的研制了国内首款超大规模的神经形态类脑计算天机芯片,同时支持脉冲神经网络和人工神经网络(如深度学习)。此芯片可进行大规模神经元网络的模拟,具有超高速、实时、低功耗等特点,特别适用于发展类脑智能技术。在此基础上,中心还开发了面向类脑芯片的工具链,提供友善的用户接口,降低应用的开发难度并提升效率。

类脑计算机系统

类脑计算机系统是按照生物神经网络采用神经形态器件构造的智能机器,采用微纳器件模拟生物神经元和突触的信息处理功能,采用大脑皮层神经网络结构作为基础体系结构,通过多传感器接收环境刺激以及和其他主体的交互获得和发展智能。与经典计算机系统相比,类脑计算机系统有三大特点:1)低功耗:类脑计算机系统过在体系结构上借鉴生物大脑而大幅度降低能耗,人脑功耗约20瓦,而据IBM测算,实时模拟人脑需要三百多台天河2号同时工作;2)高集成度和高容错:类脑计算机的基本元器件是模拟生物神经元和突触的神经形态器件,其特征尺寸与生物对应物相当或更小,不仅可比晶体管更小,而且部分器件出错不影响系统基本功能;3)经典计算机实现类脑功能主要靠复杂的人工编程和计算模型,类脑计算机主要采用通过环境刺激和交互训练实现感知认知等基础性智能,其效率更高,获得的智能也更适应复杂环境。

在过去的几十年里,科研人员不断从生物实验现象和结论中汲取灵感,人工智能取得了长足的进展,尤其是近几年,随着互联网为我们带的大数据和运算硬件的进步,各种机器学习算法蓬勃发展,如深度学习、强化学习、对抗网络、CNN、RNN等等。他们在语音识别、计算机视觉、机器翻译等多种应用环境下,取得了突破性的进展。另一方面,机器学习依然面临很多挑战,特别在某些情况下,比如如何在小样本的情况下,实现自我学习和自适应。这要求神经网络要拥有一定先验知识,就是对世界的一些假设。需要对数据进行更好层抽象表达,并发现潜在的因果关系。另外,我们需要在无监督学习方面做得更好,人类非常善于无监督学习。目前深度学习主要依赖监督学习,对世界的理解和表示还停留在很基础的层面,学习的是数据的表面线索, 在训练数据以外的地方往往就不管用了。

在算法开发的同时,也需兼顾芯片的设计要求: 算法导致芯片设计的变化,但是芯片的设计局限也会导致算法的变化。考虑到神经网络的巨大规模,系统能耗和训练时间居高难下,传统的芯片设计和制造工艺难以满足要求,需要在器件、材料、计算机架构等各个方面进行协同创新。另外,与传统人工神经网络相比(ANN), 生物大脑采用以脉冲为基础的通信方式,即脉冲神经网络(SNN),兼以分布式信息存储和异步的事件驱动的方式进行工作,在复杂网络架构中,实现动态、多粒度、复合信息的关联记忆、通用智能处理和高级智慧等。目前,脉冲神经网络算法还不成熟,并缺少独特的应用演示。

由此,我们需要更好的借鉴人脑的形态架构,开发新型的类脑计算架构和算法,突破类脑智能关键技术,发展通用人工智能,使其能以极低的能耗实时处理多感官跨模态等非精确、非结构化数据。由于此项研究涉及信息、生物、物理、数学、材料、微电子等多个学科领域,在单一学科的框架下无法解决问题。有鉴于此,本中心由清华大学校内7家院系所联合而成,融合了脑科学、电子、微电子、计算机、自动化、材料以及精密仪器等学科,拟建设成一个具备多学科深度交叉融合能力的研究中心,从不同层面进行全方位的创新,发展以脑认知与信息科学为基础的类脑智能计算新范式,开发类脑计算系统新架构、新硬件、新软件和新算法。本中心拟参照脑科学研究揭示的脑结构和运行机制,学习脑信息处理机制,研究相应的理论,模仿脑时空层级结构,结合人工智能和半导体技术,最终实现通用人工智能。

神经形态(neuromorphic)的概念,最早由加州理工学院著名的Carver Andress Mead教授于上世纪80年代提出,他将专用集成电路(ASIC)用于神经科学计算,从此开启了对神经形态工程的探索。顾名思义,神经形态工程是利用电子器件或集成电路去模拟神经元的架构、功能或行为,以期实现高容错性, 可适应性和超低功耗等。

在生物神经网络中,神经元是构成神经系统结构和功能的基本单位,它具有接受、整合和传递信息的功能。神经元的形态和功能多种多样,但在结构上大致都可分成细胞体、树突和轴突三个部分。神经元和和神经元之间通过突触构成了信息传递的基本通道与回路,从而形成阶层网络以处理信息,并通过突触权重和网络拓扑结构变化存储信息。受生物神经网络的启发,神经形态器件即围绕神经元和突触,进行功能和行为上的模拟。有鉴于人脑中大约有~1011个神经元和1014个突触,研制具有高密度和超低功耗的神经网络是该领域的主要研究目标。

最近几年,在阻变/忆阻器、相变存储材料和磁存储器等新型微纳存储器件基础上发展起来的 “人造突触”器件引起了各国研究人员的广泛关注。其中忆阻器是由蔡少棠(Leon Chua)提出并于2008年被惠普首度实现,它具有高密度、低能耗、非易失、可三维堆栈、与CMOS电路兼容等诸多优势。另外,忆阻器在模拟突触及生物法则方面取得了不错的进展,可模拟触发时差依赖可塑性(STDP),长时程抑制(LTD), 长时程增强(LTP),短期记忆到长期记忆等学习法则。

本中心拟以忆阻器为核心,研究忆阻单元的电学突触性能,研究忆阻材料与电极材料的组合构成,通过优化制造工艺和材料结构,实现高可靠、高性能并且一致性好的忆阻单元结构。同时,在此基础上,开发以微纳存储器件为基元的大规模新型神经形态芯片,探索新型器件突触的信息表达机制、存储与处理融合机制、算法硬件实现、在线学习功能实现、及可扩展芯片架构设计等科学问题。

随着大数据信息网络、智能移动设备和深度学习等算法的蓬勃发展,传统的“冯•诺依曼”架构计算系统面临着三方面的严峻挑战,已经成为制约信息技术发展的瓶颈。

一方面,其处理器架构需将高维信息的处理过程转换成纯时间维度的一维处理过程,在处理大型复杂问题时能耗高、效率低,在处理非结构化信息时难以构造合适的算法,尤其在实时处理智能问题时无法满足需求。

另一方面,其信息处理过程在物理分离的存储器和中央处理器内完成,程序和数据依次从存储器读入中央处理器进行处理,而后再送回存储器中,该过程造成大量的能耗损失。程序或数据往复传输的速率与中央处理器处理信息的速率不匹配导致严重的存储墙效应,进一步造成能效低下。

除此之外,随着业界进入的亚10纳米技术节点,器件越来越逼近各自物理微缩的极限,量子效应越来越干扰器件的正常工作。尽管不同人对于摩尔定律的具体终结时间有不同估算,但是工业界对于持续50年摩尔定律的终结本身并无争议。连英特尔最近也承认,摩尔定律将于2021年左右走到尽头。

为应对上述挑战,借鉴人脑发展类脑计算技术已被国际半导体技术发展指南制定为最重要的替代方案,它将革新现有的计算机技术,带来全新的能力及更低的功耗,成为信息产业的新基石。

清华大学类脑中心致力于 “天机”系列类脑计算芯片的研发,拟开发高速、高能效、低功耗的新型架构芯片,为发展具备强兼容、高度并行、超低功耗的类脑计算系统提供高性能的类脑计算处理器。

从现有计算机体系的历史演进来看,以三类模型为基础——即以共享内存或消息传递等为特征的编程模型(programming model)、通用图灵机(universal Turing machine)执行模型(program execution model)和冯诺依曼结构模型(machine architecture),有效的构建了整个计算机软硬件系统,在层次化设计以及层次间引入一定程度抽象的指导思想下,确保了计算机软硬件的飞速发展,造就了信息技术及应用的空前繁荣。

虽然类脑计算芯片与类脑计算机采用了与传统冯诺依曼架构截然不同的新型体系结构,但是借鉴传统计算机发展的成功经验,我们认为从编程模型、执行模型,以及如何高效支持类脑计算机结构模型(硬件)等核心问题入手来开展类脑计算软件系统研究是非常必要且有益的。

从现有国内外类脑计算芯片/类脑计算机系统研究进展来看,目前还罕有类脑计算编程模型、执行模型方面的系统性研究,更遑论对结构模型的高效支持。具体的,IBM TrueNorth类脑芯片与计算机的corelet编程语言采取了一定程度的功能抽象,但其从根本上还是类似于传统的硬件描述语言,将神经网络描述为众多类脑计算核之间的连接关系。英国曼彻斯特大学的SpinNaker类脑处理器与德国海德堡大学BrainScaleS类脑处理器均采用了源自于计算神经学的脉冲神经网络描述语言PyNN来作为应用开发语言,但是PyNN本身是针对作为神经学实验补充的计算机模拟方面的需求开发的,并不适于类脑智能应用的描述与开发。

本课题组围绕清华大学自主研发的“天机”系列类脑芯片,紧密结合智能应用开发需求,构建通用的类脑操作系统软件,支撑类脑计算系统的运行。同时,兼顾层次化设计与层间抽象等方面的研究,以提高编程的简易性、通用性与可移植性。

类脑智能技术是发展通用强人工智能的一个有效途径,是国内外人工智能技术及应用领域的新潮流。如同计算机一样,类脑计算系统是研发类脑智能技术的普适平台,是促进类脑智能技术发展的强力工具,也是类脑智能技术应用的有效载体。2016年是类脑计算机元年,美国基于IBM公司的TrueNorth(真北)类脑处理器芯片(神经形态架构),英国基于曼彻斯特大学的SpiNNiker类脑处理器芯片(类冯诺依曼架构),德国基于海德堡大学BrainScaleS类脑处理器芯片(数模混合结构),分别推出了各自的类脑计算机系统。

本课题拟研究基于“天机芯”系列类脑处理器芯片(多模态神经形态架构)的类脑计算机系统,研制能够满足类脑智能应用需求的类脑计算系统,在体积、规模以及速度上达到国际领先水平。同时,结合人工智能和半导体技术,构建一套完整的类脑计算机及应用开发平台。

类脑计算的核心优势是独立性、自主性、适应性和学习能力,迫切需要构建能够展示这些重要能力的软硬件系统。因此本中心针对类脑计算最核心的特点和优势, 拟开发虚拟环境仿真平台和真实环境验证平台。

虚拟环境仿真平台:利用CPU 、GPU 和FPGA等通用计算平台,构建能灵活支持各类开发与测试的软件系统,支持类脑智能软体在复杂场景、海量数据等条件下信息处理技术的开发。同时,搭建智能基础算法库,支持类脑智能算法的验证、推广与应用。

真实环境验证平台:搭建模拟的复杂地形及建筑物等障碍,实现对温度、风速等自然环境等的控制和模拟,布设相应的激励源及传感阵列,建立测试评估体系,完成对系统的性能、鲁棒性及环境适应性等参数的测试。

学术交流



本中心采取“请进来”和“走出去”双向交流形式,积极开展与国内外学术研究机构和人员的学术交流。广泛邀请国内外知名学者、专家来我中心交流学术成果、研究视角和科研平台建设经验,共同推动类脑计算领域的发展。



学术交流==>点击进入

类脑计算系列讲座




由于类脑计算研究涉及信息、生物、物理、数学、材料、微电子等多个学科领域,在单一学科的框架下无法解决问题。 因此,本中心着重开展跨领域交流,组织不同领域的专家进行的讲座和汇报,促进各学科深度融合,共同发展。



2015年系列讲座
2016年系列讲座
2017年系列讲座