异质学习框架HIFI：生物启发下更快、更高、更强的神经网络 | NSR

知社学术圈

2024-11-21 11:29知社学术圈官方账号

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

人脑由百亿级异质性神经元构成，是目前已知唯一能够实现通用智能的复杂系统。自20世纪中期人工神经网络概念提出以来，科学家们始终致力于在人工系统中模拟大脑的卓越认知能力。近年来，随着计算能力的飞速提升和对大脑认知机制的深入研究，整合神经科学、计算机科学和认知科学，以开发更高效、更智能的计算系统，已成为研究的关键方向。

近日，北京航空航天大学邓岳教授和清华大学郭雨晨助理研究员，基于其团队在单细胞认知解析技术（Nature Methods 2019）和人工智能交叉应用（Nature Biotechnology 2022, Nature Communications 2024）的长期积累，提出了一种基于自抑制神经元的异质脉冲框架（Heterogeneous spiking Framework with self-inhibiting neurons，HIFI），显著提升了神经网络的效率和准确性，展现了其在复杂认知任务中的应用潜力。相关研究成果以“Biologically inspired heterogeneous learning for accurate, efficient and low-latency neural network”为题发表于《国家科学评论》（National Science Review，NSR）。

HIFI原理图

HIFI模型

在生物学中，自抑制突触通过调节过去脉冲对当前输入的影响，使单个神经元能够实现自我调控的记忆效应。基于这一概念，研究团队在经典的Leaky Integrate-and-Fire（LIF）模型中引入了自抑制环路，构建自抑制脉冲神经元（self-inhibiting neuron），实现了神经元层次的记忆效应。在此基础上，团队受到大脑神经元异质性的启发，提出了一种双层嵌套优化的异质学习算法，进一步构建了异质性脉冲神经网络。

与传统方法仅优化网络层级的突触权重参数不同，HIFI通过双层嵌套策略交替优化神经元参数和突触权重，显著增强了网络的学习和记忆能力。此外，该嵌套学习机制也具备一定的生物学可解释性，即随着时间的推移，神经突触会在神经元的进化过程中逐渐消除或形成，反映了生物系统的适应性进化特性。

自抑制神经元的生物保真性

可训练的自抑制神经元为探索哺乳动物脑神经元复杂的神经动力学提供了新的视角。研究表明，所提出的模型能够准确再现单个神经元和神经元群体在统计学上的特性，显著提升了人工神经元的动力学拟合能力。

该模型为脑机接口场景提供了优异正则，提高了下游解码任务的效率，展示了其作为神经网络构建单元的潜力。

这种自抑制神经元模型为理解大脑信息处理机制提供了生物学上的保真性，也为开发更高效的人工智能系统奠定了基础。

a-d：单细胞响应——神经元单体动力学模拟；e-j：脑机接口——神经元群体动力学模拟

HIFI的高效能计算特性

HIFI在多个广泛应用的数据集上展现了卓越的计算性能，包括静态数据集（MNIST、CIFAR10、CIFAR100、ImageNet）和神经形态数据集（NMNIST、DvsGesture、SHD、SSC、CIFAR10-DVS）。

相比传统模型，HIFI实现了更快、更高、更强：处理速度提高最多5倍，准确性最多提高10%，能耗降低最多17.83倍。

静态图像数据：HIFI实现了更准确、更鲁棒、更高效

此外，HIFI从神经形态数据中学习到的神经元参数在分布特性上与哺乳动物神经元的参数呈现相似性，表明该模型不仅具有优异的性能表现，还在一定程度上具备生物学上的合理性，进一步支持了其在类脑计算领域的应用前景。

神经形态数据：HIFI学习的参数分布部分近似于生物先验

HIFI的科学发现

HIFI模型凭借其高效能和低延迟的特点，在高维度、大规模单细胞转录组测序（scRNA-seq）分析中展现了独特优势。研究表明，HIFI能够从scRNA-seq数据中精确识别出罕见的细胞类型，如Sncg、Serpinf1和Astro等。尽管这些细胞在样本中所占比例极低（如仅占0.09%），它们却是多种重大脑部疾病的关键生物标志物，包括多系统萎缩（Sncg）、胶质母细胞瘤（Serpinf1）和脑水肿（Astro）。这一发现不仅展示了HIFI在处理复杂生物数据中的潜力，也为疾病的诊断和治疗提供了新的研究方向。

HIFI识别罕见细胞类型

这项跨学科研究提出了一种具有高精度、高效能和低延迟的学习框架，具有广泛应用于通用机器学习任务的潜力，为生物启发的人工智能领域提供了新的视角。研究结果展示了该框架在多种复杂任务中的应用前景，推动了生物启发的计算模型向通用智能的方向迈进。

该研究受到国家自然科学基金委（No. 62325101和No. 62031001）的资助。

查看原图 10K