如果你在观看最新的人工智能生成的视频时大吃一惊，如果欺诈检测系统使你的银行余额免于犯罪分子的攻击，或者因为能够在运动中口述发送一条信息而使你更轻松，那么你真的要感谢许多科学家、数学家和工程师。
但有两个名字因对深度学习技术的基础性贡献而脱颖而出：普林斯顿大学物理学家约翰·霍普菲尔德（John Hopfield）和多伦多大学计算机科学家杰弗里·辛顿（Geoffrey Hinton）。深度学习技术使这些体验成为可能。
这两位研究人员因在人工神经网络领域的开创性工作，于2024年10月8日被授予诺贝尔物理学奖。
尽管人工神经网络是以生物神经网络为模型的，但两位研究人员的工作都借鉴了统计物理学，因此获得了物理学奖。
神经元是如何计算的
人工神经网络起源于对活体大脑中生物神经元的研究。1943年，神经生理学家沃伦·麦卡洛克（Warren McCulloch）和逻辑学家沃尔特·皮茨（Walter Pitts）提出了神经元如何工作的简单模型。
在McCulloch-Pitts模型中，一个神经元与其相邻的神经元相连，并可以从它们那里接收信号。然后，它可以将这些信号组合起来，向其他神经元发送信号。
但有一个问题：它可以以不同的方式衡量来自不同邻居的信号。想象一下，你正在决定是否要买一部新的畅销手机。你和朋友聊天，征求他们的建议。
一个简单的策略是收集所有的朋友推荐，并决定跟随大多数人的意见。例如，你问三个朋友，爱丽丝、鲍勃和查理，他们分别说“是”、“是”和“不”。这导致你决定购买手机，因为你有两个赞成和一个反对。
然而，你可能更信任一些朋友，因为他们对科技产品有深入的了解。所以你可能会决定给他们的建议更多的权重。
例如，如果查理非常博学，你可能会数他的“不”三次，然后你的决定是不买手机 —— 两次赞成，三次反对。
如果你不幸有一个你完全不信任的朋友，你甚至可能会给他们负权重。所以他们的同意就等于拒绝，他们的拒绝就等于同意。
一旦你对新手机是否是个好选择做出了自己的决定，其他朋友就可以请你推荐了。
同样，在人工和生物神经网络中，神经元可以聚合来自相邻神经元的信号，并将信号发送给其他神经元。
这种能力导致了一个关键的区别：网络中是否存在循环？例如，如果我今天向爱丽丝、鲍勃和查理推荐，明天爱丽丝向我推荐，那么就会有一个循环：从爱丽丝到我，再从我回到爱丽丝。
如果神经元之间的连接没有循环，那么计算机科学家称之为前馈神经网络。前馈网络中的神经元可以分层排列。
第一层由输入组成。第二层接收来自第一层的信号，以此类推。最后一层表示网络的输出。
然而，如果网络中存在循环，计算机科学家称之为循环神经网络，神经元的排列可能比前馈神经网络更复杂。
Hopfield 网络
人工神经网络最初的灵感来自生物学，但很快其他领域开始影响它们的发展。这些课程包括逻辑、数学和物理。
物理学家约翰·霍普菲尔德（John Hopfield）利用物理学的思想研究了一种特殊类型的循环神经网络，现在被称为霍普菲尔德网络。他特别研究了它们的动态：随着时间的推移，网络会发生什么变化？
当信息通过社交网络传播时，这种动态也很重要。每个人都知道表情包在网上疯传，在社交网络上形成了回音室。这些都是集体现象，最终产生于网络中人与人之间简单的信息交换。
Hopfield是使用物理学模型的先驱，特别是那些用于研究磁力的模型，来理解循环神经网络的动力学。他还表明，它们的动态可以赋予这种神经网络一种记忆形式。
玻尔兹曼机和反向传播
在20世纪80年代，杰弗里·辛顿（Geoffrey Hinton），计算神经生物学家特伦斯·塞诺夫斯基（Terrence Sejnowski）和其他人扩展了Hopfield的想法，创建了一类新的模型，称为玻尔兹曼机，以19世纪物理学家路德维希玻尔兹曼命名。
顾名思义，这些模型的设计植根于玻尔兹曼开创的统计物理学。
Hopfield网络可以像拼写检查器那样存储模式并纠正模式中的错误，而玻尔兹曼机可以生成新的模式，从而为现代生成式人工智能革命埋下了种子。
杰弗里·辛顿还参与了20世纪80年代发生的另一项突破：反向传播。如果你想让人工神经网络完成有趣的任务，你必须为人工神经元之间的连接选择合适的权值。
反向传播是一种关键算法，它可以根据网络在训练数据集上的性能来选择权重。然而，训练多层人工神经网络仍然具有挑战性。
在2000年代，杰弗里·辛顿和他的同事们巧妙地使用玻尔兹曼机来训练多层网络，他们首先对网络进行一层一层的预训练，然后在预训练的网络上使用另一种微调算法来进一步调整权重。
多层网络被重新命名为深度网络，深度学习革命开始了。
AI将其回馈给物理学
诺贝尔物理学奖展示了来自物理学的思想如何促进了深度学习的兴起。现在，深度学习已经开始在物理学上得到应有的回报，它可以准确、快速地模拟从分子和材料到整个地球气候的各种系统。
通过将诺贝尔物理学奖授予霍普菲尔德和辛顿，颁奖委员会表达了对人类利用这些进步来促进人类福祉和建立一个可持续发展世界的潜力的希望。
如果朋友们喜欢，敬请关注“知新了了”！