智东西（公众号：zhidxcom）
编译｜依婷
编辑｜Panken
智东西11月14日消息，据外媒The Information报道，一位参与工作的内部人士称，谷歌最近一直在为提升其聊天机器人产品Gemini的性能而努力，该公司希望模型性能提升的速度可以与去年相当，这促使研究人员专注于其他方法来勉强取得效果。
这种情况和OpenAI的遭遇类似。此前有报道称，OpenAI模型性能提升速度有所放缓，该公司正改变技术策略来解决问题。
回到谷歌本身，上述人士称，谷歌在投入了大量算力和训练数据，如来自网页的文本和图像后，并没有实现一些高管所期待的性能提升。当研究人员使用更多的数据和算力来训练模型时，过去版本的Gemini大模型改进速度更快。
谷歌的经历是scaling law（缩放定律）受到考验的另一迹象。许多研究人员认为，只要使用更专业的AI芯片来处理更多的数据，模型就会以相同的速度改进。但目前来看，这两个因素似乎远远不够。
这个问题成为谷歌的心头大患。因为在开发者和客户数量方面，Gemini模型落后于OpenAI的GPT模型，而谷歌一直希望它在算力资源方面的优势，可以助力它在模型性能方面超越OpenAI。与此同时，两家公司都在开发由现有技术版本提供支持的新产品，这些产品可以帮助软件程序员和其他办公人员，在处理繁琐及复杂工作时，实现自动化。
“我们对在Gemini上看到的进展很满意，在合适的时机我们会披露更多消息。”谷歌发言人称，公司正在重新考虑如何处理训练数据并在数据上大量投资。这位发言人说，谷歌还成功地加快了模型的响应速度，这“对于以谷歌的规模提供AI服务很重要”。
在OpenAI，研究人员发明了推理模型等新技术，以弥补在模型训练阶段，使用传统scaling law技术导致的性能提升放缓问题。谷歌似乎也在效仿。最近几周，DeepMind在其Gemini部门内组建了一个团队，该团队由首席研究科学家Jack Rae和前Character.AI联合创始人Noam Shazeer领导，旨在开发类似OpenAI推理模型的能力。
开发Gemini的研究人员也一直专注于对模型进行手动改进。参与这项工作的人说，改进工作包括更改它们的“超参数（hyperparameters）”，或者是决定模型如何处理信息的变量，比如，模型在训练数据中不同概念或模块之间建立联系的速度。研究人员在称为“模型调优（model tuning）”的过程中测试不同的超参数，以检验哪些变量会带来最佳结果。
上述人士说，谷歌在其传统方法中遇到的一个问题是，它在用于开发Gemini的数据中发现了相同信息的副本。他们说，这可能损害了Gemini的表现。对此，谷歌发言人回复称，此类问题对团队来说并不新鲜。
另外，该人士还透露，谷歌研究人员曾尝试使用AI生成的数据（也称为合成数据），以及音视频作为Gemini的训练数据来改进模型性能，但没有产生显著效果。
结语：巨头遇到瓶颈，“AI泡沫”还是AGI？
一周时间，OpenAI和谷歌这两大AI巨头接连被爆出模型性能提升缓慢问题，且目前来看两家公司都没有找到有效解法，scaling law的有效性受到挑战。
从公司个体来看，两巨头的技术领先地位将面临极大挑战；从行业来看，技术瓶颈长期无解可能会导向悲观派所说的“AI泡沫”。
世界离AGI还有多远？还要看这些巨头公司们多久突破技术瓶颈。
来源：The Information