硅谷的 AI 叙事依赖于 ChatGPT 等大型语言模型,这些模型继续以指数级的速度改进。
自OpenAI推出ChatGPT并掀起人工智能淘金热以来,已经过去两年时间。在此期间,数十亿美元的资金如潮水般涌入AI及相关公司,人们普遍相信这项技术将极大地加速甚至可能颠覆现代生活的方方面面。
硅谷的叙事是,人工智能列车已经启动,聪明的投资者最好尽早搭上这趟列车,以免错过机会。对于真正的信徒来说,这并不夸张。这些预期推动了英伟达等曾经的小众公司迅速崛起,成为地球上最有价值的资产之一(该公司周三公布了财报)。
然而,这种叙事的关键在于像ChatGPT这样的大型语言模型(LLM)能够持续以指数级速度改进。多年来,一些AI怀疑论者一直对“缩放定律”提出警告,即只需投入更多的数据和计算能力,就可以不断改进模型的输出。但这些更像是有根据的猜测,而非确凿的定律。事实上,即使是构建LLM的科学家也不完全了解它们的工作原理。
现在,根据上周至少三份报告,一些领先的语言模型似乎正在遭遇瓶颈。以下是相关报道:
科技新闻媒体The Information援引未透露姓名的OpenAI员工的话称,该公司的一些研究人员认为,其下一个旗舰AI模型Orion“在处理某些任务方面并不比其前身更好”。
彭博社也援引两位未具名消息人士的话报道称,Orion“达不到要求”,并且“到目前为止,它被认为没有像GPT-4从GPT-3.5那样比OpenAI的现有模型取得显著进步”。
路透社则报道称,“据三位熟悉私人事务的消息人士称,主要人工智能实验室的研究人员在发布一个性能优于OpenAI GPT-4模型的大型语言模型时遇到了延误和令人失望的结果,而GPT-4模型已经使用了近两年时间。”
此外,OpenAI联合创始人Ilya Sutskever于5月离开了公司,他在离开前表示:“2010年代是扩展的时代,现在我们再次回到了奇迹和发现的时代。每个人都在寻找下一件事。现在,扩大正确的规模比以往任何时候都更加重要。”就连曾经写过一篇题为《为什么人工智能会拯救世界》的文章的风险投资家马克·安德森最近也在播客上表示,可用的模型“在功能上有点触及了同样的上限”。
尽管OpenAI首席执行官山姆·阿尔特曼上周在社交媒体上发帖称“没有墙”,但即使是AI的乐观派也表示,根据已经发布的产品来看,我们可能已经到达了一个转折点。
“我们已经有一段时间没有看到突破性的模型了,”投资集团D.A. Davidson的董事总经理吉尔·卢里亚表示。“部分原因是我们已经用尽了所有人类数据,因此仅仅对相同的数据进行更多计算可能不会产生更好的结果。”
这是一个技术性问题,但了解模型的局限性非常重要:要使这些AI机器听起来像人类,必须用人类数据训练它们——基本上就是使用互联网上的每一段文本或音频。一旦模型摄取了所有这些数据,就没有更多的“真实”数据可以训练它了。
需要明确的是,平台期不一定是AI业务的丧钟。但是,当华尔街已经开始对投资者何时(或是否)能看到这些闪亮且非常昂贵的产品产生实际收入感到紧张时,这无疑是一个不利的信号。
估值近3.5万亿美元的首选芯片制造商英伟达和其他主要AI参与者可能不必立即担心扩展问题。卢里亚表示:“就上个季度和本季度对英伟达的需求而言,毫无疑问,这个需求超出了他们的供应能力。”
但是,如果我们真的遇到了规模化的障碍,“这可能意味着大型科技公司已经过度投资”,他们有可能在不久的将来缩减规模。
这是AI乐观主义与实用主义的观点。对于不那么乐观的前景,纽约大学名誉教授Gary Marcus直言不讳地批评了AI炒作。他在本月早些时候的文章中写道:“经济形势可能会很严峻。LLM不会消失,即使改进减少,但经济性可能永远没有意义……当每个人都意识到这一点时,金融泡沫可能会迅速破裂;当人们意识到其估值在多大程度上是基于一个错误的前提时,甚至英伟达也可能会受到打击。”
在朋友圈分享这个故事;关注『跟着大事跑的人』,每天了解全球热点!