谷歌前CEO斯坦福演讲:当每个人都有自己的程序员团队时会发生什么

谷歌前CEO 埃里克·施密特（Eric Schmidt）斯坦福演讲:深入探讨了人工智能的发展方向、全球科技竞争的未来，以及这些技术如何对社会、经济和国家安全产生深远影响。

本文只摘取笔者认同和觉得有参考的部分, 全部访谈请看:

 B站传送：谷歌前CEO Eric Schmidt 斯坦福课堂访谈 2024.8

提问:为什么NVIDIA价值2万亿美元，而其他公司却在苦苦挣扎？

施密特：

我喜欢将 CUDA 视为 GPU 的 C 编程语言，这个想法让我感到满意。CUDA 成立于 2008 年。尽管我一直认为它是一种糟糕的语言，但它却占据了主导地位。还有一个值得注意的见解：有一组开源库针对 CUDA 进行了高度优化，而其他任何库都没有做到这一点。所有构建这些技术堆栈的人在讨论中完全忽略了这一点。这些库在技术上被称为 VLLM，还有许多类似的库也针对 CUDA 进行了高度优化，这使得竞争对手很难复制。

那么，这一切意味着什么呢？明年，你将看到非常大的上下文窗口、Agent和文本的应用。当这些技术大规模交付时，它们将对世界产生巨大的影响，远超社交媒体带来的影响。原因如下：在上下文窗口中，你可以将其用作短期记忆，我对上下文窗口的长度感到震惊。技术上的原因与服务和计算的难度有关。短期记忆的有趣之处在于，当你输入信息并询问问题时，比如阅读 20 本书并将书的文本作为查询，然后询问它们的内容，它会忘记中间部分，这与人类大脑的工作方式相似。

如果你可以从任意语言转换为任意数字命令，这在本质上就是这个场景中的 Python。想象一下，地球上的每个人都有自己的程序员，他们实际上做他们想做的事情，而不是那些不按要求工作的程序员。这里的程序员知道我在说什么。想象一个不傲慢的程序员实际上做了你想做的事，而你不必付出高昂的代价。而这些程序员的供应是无限的。

教授：这一切将在未来一两年内发生？

施密特：

很快。以上三件事，我确信将在下一波浪潮中同时发生。所以你问还会发生什么。每六个月我都会波动一次，所以我们处于震荡状态。目前，前沿模型（现在只有三个）与其他模型之间的差距似乎越来越大。六个月前，我确信这种差距正在缩小，因此我在一些小公司上投入了大量资金。然而，现在我对此不太确定了。

我正在与一些大公司进行对话，他们告诉我，他们需要100亿、200亿、500亿甚至1000亿美元的资金。星际之门项目需要1000亿美元，非常困难。我的好朋友Sam Altman认为，这可能需要大约3000亿美元，甚至更多。我向他指出，我已经计算了所需的能量。

为了全面公开，我在周五前往白宫，告诉他们我们需要与加拿大成为最好的朋友。因为加拿大人民真的很好，他们帮助发明了人工智能，并且拥有大量的水力发电资源。因为我们作为一个国家没有足够的力量来完成这一目标。另一种选择是让阿拉伯国家资助这个项目。我个人很喜欢阿拉伯人，我在那里花了很多时间，但他们可能不会遵守我们的国家安全规则。而加拿大和美国是我们都同意的三巨头之一。

因此，在这些价值1000亿到3000亿美元的数据中心中，电力开始成为稀缺资源。

顺便说一句，如果遵循这种推理，你可能会问我为什么要讨论CUDA和NVIDIA？如果3000亿美元全部流向NVIDIA，你就知道在股市上该怎么做了。不过，这不是股票推荐。

教授：

部分原因是我们将需要更多的芯片，但英特尔从美国政府获得了很多资金。AMD正在尝试在韩国建立晶圆厂。

施密特：

如果你的任何计算设备中有英特尔芯片，请举手。垄断就到此为止。

教授：

但这就是重点。他们曾经确实垄断过，现在NVIDIA已经垄断了。那么这些是进入壁垒吗？

说到CUDA，还有其他选择吗？前几天我和Percy Lange聊过。他正在TPU和NVIDIA芯片之间切换，这取决于他能接触到什么。这是因为他别无选择。

施密特：

如果他有无限的资金，今天他会选择NVIDIA的B200架构，因为它更快。我不是在暗示——有竞争是件好事。

我和AMD的Lisa Su谈过很久。他们已经构建了一个可以将CUDA架构转换为他们自己架构的东西，称为Rokam。它还没有完全发挥作用，但他们正在努力。

教授：

你在谷歌工作了很长时间，他们发明了Transformer架构。感谢那边的杰出人士，比如Peter、Jeff Dean以及所有人。目前，OpenAI似乎已经失去了主动权。在我看到的最新排行榜中，Anthropic的Claude位居榜首。我曾询问过Sundar，但他并没有给我一个非常明确的答案。也许你对那里的情况有更尖锐或客观的解释。

施密特：

例如，当微软与OpenAI达成交易时，我认为那是我听过的最愚蠢的想法。将你的人工智能领导层外包给OpenAI和Sam及其团队？这太疯狂了。在微软或其他任何地方，没有人会这样做。然而今天，他们正在成为最有价值的公司，当然在苹果身上针锋相对。苹果没有好的人工智能解决方案，但看起来他们让它奏效了。

提问:在国家安全或地缘政治利益方面，人工智能将如何发挥作用，尤其是在与中国的竞争中？

施密特：

作为一个人工智能委员会的主席，我对此进行了深入研究。我们撰写了一份大约752页的报告，总结如下：我们目前处于领先地位，并需要保持这种优势，这需要大量资金支持。我们的主要客户是参议院和众议院，这也促成了CHIPS法案和其他类似政策的出台。

如果前沿模型和一些开源模型继续发展，可能只有少数公司能够参与这个领域的竞争。哪些国家具备这样的能力？这些国家需要资金充足、人才济济、教育体系强大，并且有获胜的意愿。美国和中国是其中的两个主要国家。至于其他国家是否能参与其中，我不确定。但可以肯定的是，在未来，美国和中国在知识霸权上的竞争将是一场重大斗争。

美国政府基本上禁止了NVIDIA芯片出口到中国，尽管他们不愿公开承认这一点。我们在亚DUV芯片方面拥有大约10年的技术优势，即亚5纳米芯片。这一优势让我们领先中国几年，这让中国非常不满。这一政策是由特朗普政府制定，并得到了拜登政府的支持。

教授：国会是否听取你们的建议并进行大规模投资，显然CHIPS法案是一个例子。

施密特：

此外，我们还需要建立一个庞大的人工智能系统。我领导着一个非正式、临时、非法律的团体，成员包括一些常见的业内人士。去年，这些成员提出了成为拜登政府人工智能法案的理由，这是历史上最长的总统指令。

我们曾经讨论过一个核心问题：如何检测一个已经学会了但你不知道该问什么的系统里的危险？换句话说，系统可能学到了一些不好的东西，但你不知道该如何询问它。比如，它可能学会了如何以某种新的方式混合化学物质，但你不知道如何问它。为了解决这个问题，我们在给政府的备忘录中建议设定一个阈值，我们称之为10的26次方，这是一种技术计算量度。超过这个阈值，企业必须向政府报告他们的活动。欧盟为了确保它们的不同，将10的25次方设为10。但这些数值已经足够接近了。我认为所有这些区别都会消失，因为现有的技术将会被淘汰。技术术语称为联合训练，基本上是指可以将各个部分合并在一起。因此，我们可能无法保护人们免受这些新事物的伤害。

关于:知识的本质

接下来，我想讨论一个有点哲学性的问题。去年，你和亨利·基辛格以及丹·赫滕洛赫共同撰写了一篇关于知识本质及其发展方式的文章。前几天晚上，我也讨论过这个问题。在历史的大部分时间里，人类对宇宙的理解是神秘的，直到科学革命和启蒙运动的到来。在你的文章中，你提到现在的模型变得如此复杂和难以理解，以至于我们真的不知道它们内部发生了什么。我引用理查德·费曼的话：“我不能创造的东西，我就不理解。”前几天我看到了这句话。但现在人们正在创造他们可以创造的东西，却并不真正了解其内部运作。知识的本质是否在某种程度上发生了变化？我们是否必须开始只接受这些模型的表面，而它们无法向我们解释？

施密特：

我想举一个青少年的例子。如果你有一个青少年，你知道他们是人类，但你无法完全弄清楚他们在想什么。然而，我们在社会上设法适应了青少年的存在，他们最终会摆脱这种状态。这是一个严肃的问题。因此，我们可能会拥有无法完全描述的知识系统，但我们了解它们的界限和能做什么的极限，这可能是我们能得到的最好的结果。你认为我们会了解这些限制吗？如果我们能做到这一点，那就很好。

我的小组每周开会的共识是，最终会出现所谓的对抗性人工智能，实际上会有公司雇佣你并付钱来破坏你的人工智能系统。就像红队一样。与今天的人类红队不同，你将拥有整个公司和整个人工智能系统行业，他们的工作是破坏现有的人工智能系统并找到它们的漏洞，尤其是那些我们无法弄清楚的知识。这对我来说很有意义。对于斯坦福大学来说，这也是一个很棒的项目。因此，将两者结合起来是有意义的。

提问:是什么推动了人工智能进步？是更多的计算能力吗？是更多的数据吗？

施密特：

答案是以上所有。投入的资金数额令人难以置信。你必须假设当前的幻觉问题会减少，随着技术的进步等等。我基本上投资了一切，因为我不知道谁会赢，而我跟随的资金数额如此之大。部分原因是早期的钱已经赚了，而那些不太了解的人必须拥有人工智能组件。现在一切都是人工智能投资，他们无法分辨出差异。

我将人工智能定义为学习系统，即真正学习的系统。我认为这是其中之一。第二点是，现在出现了一些非常复杂的新算法，它们有点像后Transformer。我有一个朋友，也是我长期的合作伙伴，发明了一种新的非Transformer架构。我在巴黎资助的一个小组声称也做了同样的事情。那里有大量的发明，斯坦福大学也有很多研究。最后一点是，市场相信智能的发明有无限的回报。假设你向一家公司投入了500亿美元的资金，你必须从智能中赚到很多钱才能偿还这笔钱。我们可能会经历一些巨大的投资泡沫，然后它会自行解决。过去一直如此，现在也可能如此。

教授：你之前提到，领导者正在拉开与其他人的距离。

施密特：

现在，法国有一家叫Mistral的公司，他们做得非常好。我显然是一名投资者。他们已经制作了第二个版本，他们的第三种模式很可能是封闭的，因为它太昂贵了。他们需要收入，不能免费提供他们的模式。我们行业中关于开源与闭源的争论非常激烈。我的整个职业生涯都建立在人们愿意以开源方式分享软件的基础上。我的一切工作都是基于开源的。谷歌的大部分基础也是建立在开源之上。我所从事的工作主要集中在技术领域。然而，巨大的资本成本可能会从根本上改变软件的构建方式。

我对软件程序员的看法是，他们的生产力至少会翻倍。目前有三四家软件公司正在尝试实现这一目标，我在这段时间里投资了所有这些公司。他们都在努力提高软件程序员的生产力。我最近遇到了一家非常有趣的公司，名为 Augment。我常常想到一个程序员，他们说这不是我们的目标。我们的目标是那些拥有数百万行代码的100人软件编程团队，没有人知道发生了什么。这是人工智能的一个非常好的应用。他们会赚钱吗？我希望如此，但这里有很多问题。

提问:上下文窗口扩展、Agent和文本的组合将产生难以想象的影响。首先，为什么这种组合很重要？其次，我知道你不是预言家，无法预知未来，但你为什么认为它超出了我们的想象呢？

施密特：

我认为主要是因为上下文窗口可以让你解决新信息问题。目前的模型需要大约18个月的时间来训练，包括六个月的准备、六个月的训练和六个月的微调，因此它们总是过时的。而通过上下文窗口，你可以输入最新发生的事情，并在上下文中询问有关哈马斯-以色列战争的问题，这非常强大，使其变得像谷歌一样最新。

在Agent的情况下，我可以举个例子。我成立了一个基金会，为一个非营利组织提供资金。我不太懂化学，但有一个名为 ChatCrow 的工具，这是一个基于大型语言模型的系统，可以学习化学。他们运行这个系统来生成有关蛋白质的化学假设，然后实验室连夜进行测试，系统就会学习。这对化学、材料科学等领域是一个巨大的促进剂。这是一个Agent模型。

我认为，只要有很多廉价的程序员，就可以理解文本到动作的概念。我认为我们不明白当每个人都有自己的程序员时会发生什么。这也是你的专业领域。我不是在谈论简单的任务，比如打开和关闭灯。我想象另一个例子，假设你不喜欢谷歌，你可以说，为我建立一个谷歌的竞争对手。是的，你个人可以这样做。为我建立一个谷歌的竞争对手，搜索网络，构建用户界面，制作一个好的副本，并以有趣的方式添加生成式人工智能。

提问:原访谈中多次讨论Tiktok, 说明他们非常害怕舆论大众化 

施密特：

我们可以用唐纳德·特朗普的例子来说明。我认为我们的社会存在信任问题，民主可能会因此失败。对民主的最大威胁是错误信息，因为我们在这方面变得非常擅长。

教授：

我没有好的答案，但有一个技术问题似乎可以缓解这种情况，那就是公钥认证。当乔·拜登讲话时，为什么不使用类似SSL的数字签名？名人、公众人物或其他人是否可以拥有公钥？

施密特：

这是一种公钥形式，提供某种确定性，就像我将信用卡发送到亚马逊时，我知道这是亚马逊。

我曾与Jonathan Haidt合作发表了一篇论文，但没有产生影响。他是一个非常好的沟通者，而我可能不是。我的结论是，系统并没有按照我们所说的那样组织。首席执行官通常在最大化收入，为此他们要最大化参与度，而最大化参与度的方式是最大化愤怒。算法选择愤怒，因为这会产生更多收入，因此人们倾向于支持极端的东西。这在各个方面都是一个问题，必须得到解决。

在民主国家，我对TikTok的解决方案是基于我们之前私下讨论过的内容。当我还是个孩子的时候，有一种叫做平等时间规则的东西。TikTok 实际上并不是一个社交媒体平台，而更像是一种电视形式。美国的每个 TikTok 用户每天平均使用该应用90分钟，并制作200个视频，这个使用量非常大。虽然政府没有实施平等时间规则，但这可能是一个值得考虑的方向，需要某种形式的平衡。

关于劳动力市场的经济影响。这个影响比最初预期的要慢，尤其是在劳动力市场方面。

施密特：

关于劳动力市场的影响，我会听取真正专家的意见。作为一名业余经济学家，我相信大学教育和高技能任务会有好的前景，因为人们会使用这些系统。我认为这些系统与以往的技术浪潮没有本质区别。危险的工作和不需要人类判断的工作将被取代。

提问:这些发展对那些不参与前沿模型开发和计算的国家会有什么影响。

施密特：

富裕国家会变得更富，而贫穷国家只能尽力而为。这实际上是一场富国的游戏，需要巨大的资本、技术人才和强大的政府支持。在全球范围内，许多国家面临着各种各样的问题，尤其是在资源匮乏的情况下。他们需要找到合作伙伴，与他人合作以解决这些问题。