具有自主学习能力的物理神经网络 | SCPMA综述

图片

近年来,基于人工神经网络的人工智能取得了显著进展,深刻改变了人们的生活、工作、学习和研究方式。2024年,诺贝尔物理学奖授予了约翰·霍普菲尔德(John Hopfield)和杰弗里·辛顿(Geoffrey Hinton)。他们的研究成果——霍普菲尔德神经网络和玻尔兹曼机,均源于自旋玻璃这一具备相变和丰富能量景观物理体系。这一奖项显示了物理学与人工智能研究之间紧密的联系。

当前人工神经网络面临的挑战主要集中在算力和能耗两个方面。尽管目前的瓶颈多来自于算力,但从长远来看,能耗将成为更为根本的限制。这是因为现有的人工智能实现方式依赖于传统冯诺依曼架构,通过二进制0和1的操作在图灵机上“模拟”人工神经网络的计算。这种方法实质上是用高精度的逻辑计算来处理仅需低精度的人工智能任务,导致资源的低效利用。

物理体系的特性为人工神经网络提供了重要的灵感,尤其是若能在物理体系中直接实现人工神经网络,即物理神经网络,必将显著提升人工智能的能力与效率。因此,利用物理体系构建人工智能可能成为实现可持续强人工智能的重要途径。目前的研究主要集中于物理神经网络在推断任务中的应用,而物理和非物理的人工神经网络均依赖外部算法或计算实现学习,这与人脑的自我学习能力存在明显差异。基于物理体系的神经网络理论上可以通过内在的物理过程,实现无需外部干预的自主学习。

来自复旦大学应用表面物理国家重点实验室、复旦大学物理学系以及微纳电子器件与量子计算机研究院的余伟超青年研究员、郭杭闻青年研究员、肖江教授以及沈健教授在《中国科学:物理学 力学 天文学》英文版(SCIENCE CHINA Physics, Mechanics & Astronomy, SCPMA)上发表综述文章“Physical neural networks with self-learning capabilities”。

根据人工神经网络在物理体系中训练和推断的实现方式,该综述将人工神经网络分为四类(如图所示)。聚焦于“基于物理过程的自主学习”机制,文中介绍了通过物理系统内部自然演化过程实现物理神经网络中权重自主调整的基本原理,深入探讨了在不同物理系统中实现自主学习的最新进展,并总结了一些具有潜力的自主学习训练策略。

图片

根据人工神经网络的训练(training)和推断(inference)过程是否基于物理体系,可以将人工神经网络分为四类:(a) 训练和推断都发生在计算机中(传统的机器学习归为此类)。(b)在物理体系中训练、在计算机中推断(较为罕见)。(c)在计算机中训练,将训练得到的权重赋给物理神经网络后由物理神经网络进行推断(目前大多数类脑计算架构归于此类)。(d)训练与推断过程均在物理体系内完成,无需外界计算(本综述重点关注的模式)。

文章详细介绍了几种能够实现自主学习的物理系统,包括基于磁结构的全连接Hopfield神经网络、自路由纳米簇网络、自适应弹性网络和流网络、非线性纳米光子电路和超导微波腔。这些系统通过内在的物理过程实现自主学习,减少或消除了对外部计算资源的依赖,提高了训练速度和能源效率,为从基础开始构建智能硬件提供了新的思路和方向。

文章还讨论了实现物理自主学习的各种学习策略。早期的学习策略(如增量Hebbian学习)主要依赖于训练数据来调整权重,而后期的学习策略(如物理耦合学习)更多地利用物理系统的内在动态特性,通过反馈机制来调整权重。这种转变标志着从单纯依赖训练数据到利用物理系统丰富动态特性的过渡。尽管物理自主学习具有许多优势,但理解其基本机制仍面临挑战。例如,如何精确控制物理系统的动态特性,以及如何设计有效的学习规则。物理自主学习在大规模网络中的可扩展性也需要进一步研究。

文章指出,实现物理自主学习需要的关键属性,如正反馈过程、权重约束和动态随机性,在物理系统中普遍存在,这是实现物理自主学习的基础。未来的研究方向包括:优化学习策略,引入新的学习机制和优化现有方法,进一步提高物理自主学习的性能和应用范围;探索新材料和新系统,自旋电子学器件、非线性纳米光子电路、超导微波腔等新型系统在实现物理自主学习方面具有巨大潜力;以及加强跨学科合作,结合材料科学、物理学、计算机科学等多个领域的知识和技术,推动物理自主学习技术的发展和应用。


作者简介


图片

沈健

国家千人计划特聘教授、复旦大学“浩清”讲席教授。2010-2020年任复旦大学物理系主任。现任应用表面物理国家重点实验室主任、复旦大学微纳加工实验室主任、复旦大学微纳电子器件与量子计算机研究院院长。现为科技部重点研发计划项目负责人(原973首席)、基金委国家重大仪器研究计划(部委推荐)负责人、中国物理学会磁学分委会主任。长期从事低维量子材料和器件的实验研究。


图片

肖江

复旦大学物理学系“谢希德青年”冠名教授。从事凝聚态理论物理自旋电子学方向的研究,近年来开展基于物理的新型计算原理和架构研究,在神经网络二值化及随机化方面开展了深入研究;在Phys. Rev. Lett.、Phys. Rev. X、Phys. Rev. Applied、Science Advances、Nature Comms.等学术期刊上发表论文70余篇,总引用4900余次;获中国发明专利授权6项,美国发明专利1项。2017年获基金委“优秀青年基金”资助。


图片

郭杭闻

复旦大学微纳电子器件与量子计算机研究院,任青年研究员,博士生导师。长期从事复杂量子材料的制备、调控和类脑计算器件研究,在Nature Communications,PRL, PNAS等学术期刊上共发表论文40余篇,总引用1000余次,入选上海市海外高层次人才引进计划和2020年度教育部青年长江学者奖励计划。


图片

余伟超

复旦大学微纳电子器件与量子计算机研究院,任青年研究员,博士生导师。研究方向为自旋电子学理论研究以及物理启发的新型计算架构理论研究。在PRX、PRL、Nature Communications等学术期刊上共发表论文20余篇,获中国发明专利授权6项,美国发明专利1项。入选上海市海外高层次人才引进计划。



了解研究详情,请读原文