National Science Review | 混合神经网络HNN推动类脑计算

National Science Review | 混合神经网络HNN推动类脑计算

清华大学类脑计算研究中心赵蓉教授团队和施路平教授团队合作在《国家科学评论》(National Science Review, NSR)发表了关于混合神经网络(Hybrid Neural Network, HNN)的系统性综述,从起源、概念、构建框架到支撑系统,全面阐述了HNN的发展脉络与未来方向。

HNN将神经科学范式的脉冲神经网络(Spiking Neural Network, SNN)与计算机科学范式的人工神经网络(Artificial Neural Network, ANN)相结合,充分融合了这两种异质网络在信息表示和处理上的独特优势,为人工通用智能的发展注入了新的活力。

ANN与SNN的异质性赋予了HNN广泛的灵活性和多样性,同时也带来了构建上的巨大挑战。因此,要推动HNN的有效发展,必须从融合范式、基本理论、信息流、交互模式和网络结构等多个角度进行系统的研究和考虑。该合作团队共同提出的HNN通用设计和计算框架,采用了创新的先解耦后融合的方法,通过引入参数化的混合单元(Hybrid Unit, HU),成功克服了异质神经网络之间的连接难题。这种融合策略不仅充分结合了各种异构计算范式的独特特征,还通过解耦提升了灵活性和构建效率。

通过梳理多样化的设计维度,可以构建出灵活多样的HNN模型。这些模型能够充分利用数据和支撑系统的异质性,实现性能和代价的更优平衡。目前,HNN已在目标跟踪、语音识别、持续学习、决策控制等智能任务中得到了广泛应用,为这些领域提供了创新的解决方案。此外,受大脑异质性的启发,HNN还可以作为神经科学研究中的大脑建模工具,促进神经科学与HNN的协同发展,为双方的发展提供了广阔的研究空间和机会。

为了高效地部署和应用HNN,开发适合的支撑系统至关重要。目前,已开发的支撑系统包括芯片、软件和系统基础设施等多个方面。在芯片设计方面,天机芯针对HNNs的无缝融合进行了全面优化;在系统软件方面,神经形态完备性为HNN的编译和部署提供了理论支持和框架设计指导;此外,经纬-2类脑计算系统在集群层面优化了计算、存储和通信基础设施,为大规模HNN的发展奠定了坚实基础。

成果与2024年2月发表在《国家科学评论》(National Science Review, NSR)杂志。