1.Meta首席人工智能科学家Yann LeCun表示，当前的大型语言模型技术已接近收益递减，未来突破需要全新的技术范式。
2.他认为，真正的智能突破将来自能够形成抽象思维、理解物理世界并进行真正推理的全新架构。
3.然而，LeCun指出，目前的LLMs技术仅适用于信息检索，无法发明新事物，需要新的范式和架构。
4.他正在努力推动V-JEPA（联合嵌入预测架构）等新型AI架构的研究，以解决让机器抽象地表示现实世界中发生的事情的问题。
5.此外，LeCun认为开源模式在推动创新方面具有优势，专有模式可能难以跟上。
以上内容由腾讯混元大模型生成，仅供参考
（关注公众号设为🌟标，获取AI深度洞察）
在昨日的一场备受关注的专访中，Meta首席人工智能科学家、图灵奖得主Yann LeCun抛出了一个可能让许多AI投资者感到不安的观点：当前的大型语言模型技术已接近收益递减，未来突破需要全新的技术范式。
就在Anthropic完成35亿美元融资、OpenAI估值攀升至近万亿的背景下，这位被誉为"AI教父"的深度学习先驱直言不讳地指出，通过简单扩大模型规模和增加训练数据来实现通用人工智能的路径可能行不通。"如果你认为我们仅仅通过训练更多数据和扩展LLMs就能达到人类水平的AI，你就错了，"LeCun在采访中表示，"这绝对不可能。"
这一观点与当前AI行业的投资热潮形成鲜明对比。仅去年一年，OpenAI就获得了66亿美元融资，Anthropic先后获得40亿和35亿美元，而包括Elon Musk在内的众多投资者仍在向大型语言模型技术投入巨资。然而，LeCun认为，真正的智能突破不会来自更大的语言模型，而是需要一种能够形成抽象思维、理解物理世界并进行真正推理的全新架构。
文稿整理
主持人： 欢迎来到Big Technology Podcast，这是一个关于科技世界及更广泛话题的冷静、细致入微的对话节目。我是Alex Cans，非常高兴欢迎Meta的首席人工智能科学家、图灵奖得主、被誉为“AI教父”的Yann LeCun来到Big Technology Podcast。Yann，很高兴再次见到你，欢迎来到节目。
嘉宾Yann LeCun： 很高兴来到这里。
一、生成式AI的局限性
主持人： 让我们从一个关于科学发现的问题开始，以及为什么AI到目前为止还无法自己做出科学发现。这个问题来自 Patel，他在几个月前提出的。他问：为什么AI，尤其是生成式AI，基本上已经记忆了人类的全部知识库，但却未能建立起任何新的联系来推动发现？而即使是一个智力中等的人，如果记住了这么多东西，他们也会注意到，比如，这个东西导致了这个症状，另一个东西导致了这个症状，可能会有一种医疗上的治愈方法。所以，我们不应该期待AI也能做到这种事情吗？
Yann LeCun： 对于AI来说，是的；但对于LLMs来说，不是。你知道，有几种类型的AI架构。当我们谈论AI时，我们会想到聊天机器人。聊天机器人和LLMs是基于大量文本训练的，它们被训练来基本上复述、检索，并生成符合它们所训练文本统计特征的答案。它们能做的事情令人惊叹，非常有用，这是毫无疑问的。我们也知道它们会产生不真实的幻觉。但在最纯粹的形式中，它们无法发明新事物。
二、创新与AI的未来
主持人： 让我提出Hugging Face的Tom Wolf在过去一周于LinkedIn上分享的观点，我知道你也参与了相关讨论，这很有趣。他说，要在数据中心创造一个爱因斯坦，我们需要的不仅仅是一个知道所有答案的系统，而是一个能够提出别人从未想过或敢于提出的问题的系统，一个在所有教科书、专家和常识都建议相反时，写下“如果每个人都错了呢”的系统。是否有可能教会LLM做到这一点？
Yann LeCun： 不，不行，不是以目前的形式。我的意思是，未来可能会有能够做到这一点的AI形式，但不会是LLMs。LLMs可能作为其中一个组件很有用。LLMs在将抽象思想转化为语言方面很有用。在人脑中，这由一个叫做布罗卡区的小脑区完成，大约这么大。那是我们的语言模型。但我们不是用语言思考的，我们是用心理表征来思考的。我们对思考的每件事都有心理模型。即使我们能说话，我们也能思考。这发生在我们的大脑中，那是真正的智能所在，而这正是我们还没有用LLM重现的部分。所以问题是，我们最终会有能够不仅回答已有问题，还能为我们指定问题提供新解决方案的AI架构和系统吗？答案是最终会有的，但不是用当前的LLMs。然后，下一个问题是，它们能否提出自己的问题，比如，弄清楚什么是值得回答的好问题？答案是最终会有的，但这需要一段时间。在人类中，我们有各种特点：有些人记忆力极好，能够检索大量信息，积累了大量知识；有些人是问题解决者，你给他们一个问题，他们就能解决。Tom实际上谈到了这一点，他说，如果你擅长学校，你就是一个好的问题解决者，你能解决给定的问题，在数学或物理等方面表现良好。但在研究中，最困难的是提出正确的问题，什么是重要的问题。这不仅仅是解决问题，还包括以正确的方式构建问题，这样你就能有新的洞察力。之后，你需要将其转化为方程式或实用的模型。这可能需要不同的技能。提出正确问题的人不一定是解决方程式的人，也不一定是记得100年前的教科书中有类似方程式的人。这些是三种不同的技能。LLMs非常擅长检索，但不擅长解决新问题，找到新问题的解决方案。它们可以检索现有的解决方案，但绝对不擅长提出正确的问题。
主持人： LLM 指的是像 GPT 这样的技术，已嵌入 ChatGPT。Yann，我想问，AI 领域正从标准 LLM 发展到具备推理能力的模型。我们能否通过输入‘质疑指令’，让其产生反直觉或异端思考？
Yann LeCun： 我们需要弄清楚推理的真正含义。当前，LLM 试图在一定程度上进行推理，甚至检查自身答案的正确性。人们正尝试在现有范式上做些调整，而非彻底改变它。那么，能否为 LLM 添加某种机制，使其具备基本的推理能力？许多推理系统正是这样做的。例如，‘思维链’（Chain of Thought）方法要求 LLM 生成比实际需要更多的 token，希望在此过程中投入更多计算，从而提升回答质量。尽管这种方法在某些情况下有效，但非常有限，无法实现真正的推理。在经典 AI 中，推理往往涉及搜索解空间。我们提出问题，判断是否解决，然后在解空间中搜索，直到找到符合约束的答案。这是推理的基本形式，而 LLM 并不具备这种搜索机制，必须额外添加。一种方法是让 LLM 生成多个答案序列，再由独立系统筛选最佳答案。这类似于随机生成代码并测试其有效性，但这种方式既不是编写正确代码的好方法，也不是良好的推理方式。最大的问题在于，人类和动物推理并非在 token 空间中进行。我们不会依次生成多个表达解决方案的文本再挑选最佳答案，而是在头脑中构建心理模型，对情况进行操作，找到可行方案。例如，规划造一张桌子的步骤时，我们在脑海中构思行动序列，而非通过语言表达。当想象一个立方体沿垂直轴旋转 90 度时，我们可以在心里模拟这一过程，并确认旋转后的立方体仍然符合原本的形态。这种推理发生在抽象的连续空间中，与语言无关。人类和动物一直在这样做，而机器尚未能真正复现。
三、“思维链”的局限
主持人： “这让我想起你提到‘思维链’无法产生太多新颖见解。DeepSeek 发布时，流传的一张截图显示有人请求其提供关于人类状况的新见解。读起来像是 AI 在玩聪明伎俩，遍历各种有趣观察，比如如何将暴力引导向合作而非竞争，以促进建设。但当你再看‘思维链’，会感觉它像是读了《人类简史》等书后的总结。
Yann LeCun： 是的，很多内容都是复述。我想把我们后来谈到的‘墙’提前。训练标准 LLM 是否正在接近瓶颈？过去，只要增加数据和计算，模型就会变得更好。但正如我们讨论的，你似乎认为情况并非如此。我不确定是否该称之为‘墙’，但收益递减是显而易见的。我们已几乎用尽所有自然文本数据来训练 LLM，总数据量达 10¹³ 至 10¹⁴ 个 token，涵盖整个公开互联网，并额外许可非公开内容。有人提出用合成数据或雇佣专家生成更多数据，但许多系统连基本逻辑都难以掌握。这种方法进展缓慢，成本上升，回报却有限。因此，我们需要新的范式和架构，核心是能够搜索、验证方案，并规划行动以达成目标的代理系统。目前，人人都在谈代理系统，但没人知道如何真正构建它们，只能复述已有知识。计算机科学中的挑战在于，如何让系统在未经训练的情况下解决新问题。人类和动物可以做到这一点。面对新情况，我们要么能立即解决，要么能快速学习。例如，开车时，最初需要全神贯注（系统 2），但经过几十小时练习，就变成了直觉反应（系统 1），甚至能一边驾驶一边交谈。这种转变适用于几乎所有技能：最初需要高度专注，熟练后进入潜意识。我曾在研讨会上见过国际象棋大师同时对弈 50 人。他走到我面前，看了一眼棋局，瞬间落子，不假思索。他的系统 1 足以应对我这样的对手。人类和动物的核心能力在于，面对新情况时，我们能运用常识，推理出解决方案，而不依赖海量训练数据。这正是当前 AI 系统所缺失的。
主持人： 你说 LLM 已到收益递减的阶段，我们需要新范式。但问题是，这个新范式尚未出现，而你正在研究它。我们稍后会讨论可能的新方向，但现在有一个现实的时间线问题，对吧？资金仍在大量流入 LLM。去年，OpenAI 获得 66 亿美元，几周前 Anthropic 又融资 35 亿，去年筹集了 40 亿，马斯克也投入巨资开发 Grok。这些公司仍专注于 LLM，未真正寻找新范式。或许 OpenAI 在尝试，但他们之所以获得 66 亿美元，是因为 ChatGPT。那么，AI 领域将走向何方？如果资金持续涌入收益递减的技术，而突破需要新范式，这显然是个关键问题。
Yann LeCun： 我们对新范式有一些想法，我正在努力推动它落地，但这并不容易，可能需要数年时间。问题在于，这个新范式是否会足够快地出现，以证明当前的投资合理？如果它来得不够快，投资仍然合理吗？首先，仅靠扩展 LLMs 绝不可能达到人类级 AI。这根本不会发生，无论你从更激进的声音那里听到什么，未来两年内都不可能。认为数据中心里会有一群‘天才’完全是胡说八道。真正的问题在于，我们或许能训练出一个系统，能回答任何合理的问题，就像你身边坐着一个记忆力惊人的博士，但它不会像真正的博士那样为新问题发明解决方案。Tom Wolf 也提到，发明新事物需要 LLM 无法提供的能力。现在的投资并不是为了明天，而是未来几年。至少在 Meta，大部分资金投入在推理基础设施上。Meta 的计划是到年底通过智能眼镜、独立应用等触达 10 亿 AI 用户。要服务这些用户，需要大量计算资源，因此基础设施投资至关重要，微软、谷歌、亚马逊等公司也在做同样的事。即使新范式在三年内没有到来，市场依然存在，基础设施会被广泛使用。因此，这是合理的投资。建设数据中心需要时间，必须提前布局，否则未来风险更大。
四、AI投资与部署挑战
主持人： 回到你的观点，当前 AI 仍有明显缺陷，有人质疑其实际用途。Meta 正押注消费者市场，这有道理——OpenAI 有 4 亿 ChatGPT 用户，而 Meta 触达 30-40 亿人，Messenger 也有 6 亿用户，虽然使用频率不及 ChatGPT，但 Meta 仍有可能覆盖 10 亿消费者用户，这是合理的。 问题在于，许多投资是基于 AI 对企业也有用的假设。然而，正如我们讨论的，它还不够成熟。例如，Benedict Evans 提到的 DeepResearch，尽管表现不错，但可能有 5% 结果是幻觉。如果一份 100 页的研究报告中 5% 是错的，而你不知道是哪部分，这就是问题。当前企业也在尝试生成式 AI，但只有 10%-20% 的概念验证能进入生产，原因是成本高或可靠性不足。如果我们已接近 AI 的当前极限，而投资仍建立在它会继续改进的前提上，你预计会发生什么
Yann LeCun： 这是一个时间线问题，系统何时才能足够可靠和智能，以便更容易部署？在 AI 领域，令人印象深刻的演示与实际部署之间往往存在巨大鸿沟。计算机技术，尤其是 AI，一直面临这一挑战。这也是为什么 10 年前我们看到惊艳的自动驾驶演示，但仍未实现 L5 级自动驾驶。关键在于最后几个百分点的可靠性，以及如何整合现有系统，使其更高效、更实用。回顾 IBM Watson，最初计划通过学习医学并在医院广泛部署，以创造巨额收益，但最终失败，被拆分出售，甚至影响了 IBM 高层决策。这表明，只有在系统足够可靠，并真正提升效率的情况下，才能克服行业的保守性，实现大规模应用。这种情况并不新鲜。AI 发展曾经历类似周期，比如 1980 年代的专家系统热潮。当时，知识工程师被认为是未来热门职业，他们将专家知识转化为规则，供推理引擎使用。日本政府甚至推出“第五代计算机”项目，专门优化此类系统。但最终，只有少数特定应用取得成功，广泛行业变革并未发生。这种模式一直伴随 AI 发展。当前，LLM 即便增加各种高级功能，其主要作用仍是信息检索。大多数公司希望拥有一个内部专家，能理解所有企业文档，供员工随时查询。Meta 内部就有这样一个系统，叫 Metamate，非常有用。
主持人： 我并不是说 AI 或生成式 AI 没用，而是质疑当前大量资金投入是否基于对其达到神级能力的过高预期。我们谈论收益递减，如果时间线不匹配，会发生什么？这也是我最后的问题。我觉得时间线不匹配对你来说可能是种个人经历。我们九年前第一次交谈时，你有 AI 该如何构建的想法，但连会议座位都找不到。后来，随着计算能力提升，这些想法开始生效，AI 领域才真正起飞，基于你、Bengio、Hinton 等人的研究发展起来。历史上，当 AI 期望过高但未能兑现时，比如专家系统时代，行业陷入“AI 冬天”。如果我们正接近类似时刻，你担心会再度迎来 AI 冬天吗？尤其是考虑到当前巨额投资、收益递减的风险，以及股市的低迷？
Yann LeCun： 这确实是时机问题。但正如我所说，仅靠更多数据和扩展 LLMs 达到人类级 AI 是错误的。如果投资者相信某家公司能靠数据和技巧实现这一目标，那可能不是个好主意。真正的突破在于让 AI 具备智能动物和人类的核心能力：理解物理世界、持久记忆、推理和规划。AI 需要常识，并能从视频等自然传感器学习，而不仅依赖文本数据。这是巨大挑战，我和团队，以及其他研究者，如 DeepMind 和高校团队，都在探索这一方向。我们已有早期成果，比如 AI 通过视频训练理解世界，并利用物理世界的心理模型规划行动。关键是，这些研究何时能转化为大规模实用架构，使 AI 能在未训练的情况下解决新问题？这不会在未来三年内发生，但 3-5 年内可能实现，与当前投资趋势一致。此外，不会有某家公司或个人突然找到“AGI 的魔法子弹”。突破将来自全球研究社区的持续积累，而非某个单一实体。那些共享研究的团队，比封闭开发的团队进展更快。因此，如果有人认为某个五人创业公司掌握了 AGI 的秘密，并投入 50 亿给他们，那将是巨大的错误。
五、理解物理世界
主持人： Yann，我想谈谈物理学。在 Big Technology Podcast 上，有个听众熟知的时刻。你让我写信给 ChatGPT：‘如果我双手水平拿着纸，松开左手，会发生什么？’ 它回答：‘物理作用下，纸会向左飘动。’ 我读出来，深信不疑，你却说：‘它刚刚产生幻觉，而你相信了。’两年过去了，今天我再次测试 ChatGPT，它回答：‘松开左手时，重力使纸的左侧下降，右侧仍由右手托住，形成枢轴效应，纸围绕右手旋转。’ 现在，它答对了。
Yann LeCun： 是的，很可能OpenAI雇佣的某个人来解决这个问题，输入了那个问题和答案，系统被微调了答案。显然，你可以想象有无数这样的问题，这就是所谓的LLM后期训练变得昂贵的地方。你需要覆盖多少这类问题风格，才能让系统覆盖人们可能提出的90%或95%的问题？但这是一个长尾问题，你无法训练系统回答所有可能的问题，因为问题的数量本质上是无限的，系统无法回答的问题远远多于它能回答的问题。你无法在训练集中覆盖所有可能的训练问题。
主持人： 在我们上次的谈话中，你提到，像‘松开手中的纸会发生什么’这样的动作，因文本数据覆盖不足，模型无法理解现实世界的物理规律。我一直是这样理解的。后来我想，不如试试生成 AI 视频。我注意到 AI 视频对物理世界有一定理解。九年前，你说最难的问题之一是问 AI：‘如果垂直拿着笔松手，会发生什么？’ 由于排列组合过多，AI 无法推理，因为它并不固有地理解物理学。但现在，用 Sora 生成‘一个男人坐在椅子上踢腿’的视频，它能正确表现：人坐着、踢腿，关节正常弯曲，没有多余的腿。这是否说明大型模型的能力已经提高？
Yann LeCun： 不，为什么？因为你仍然有那些视频生成系统生成的视频，比如你洒了一杯酒，酒漂浮在空中，或者飞出去，或者消失了。所以，当然，对于每种具体情况，你总是可以为那种情况收集更多数据，然后训练你的模型来处理它，但这并不是真正理解底层现实，这只是通过越来越多的数据来补偿缺乏理解。孩子们用惊人少的数据就能理解像重力这样的简单概念。事实上，有一个有趣的计算你可以做，我之前公开谈过。如果你拿一个典型的LLM，训练了30万亿个token，大约是3×10^13个token，一个token大约是3字节，所以是9×10^13字节，我们四舍五入到10^14字节。那段文本我们任何人可能需要大约40万年才能读完，每天12小时。现在，如果一个四岁的孩子总共醒了1.6万小时，你可以乘以3600得到秒数，然后你可以计算有多少数据通过视神经进入你的视觉皮层。每个视神经大约每秒传输1兆字节，所以是每秒2兆字节，乘以3600，再乘以1.6万，大约是10^14字节。所以在四年里，一个孩子通过视觉或触觉看到的数据量和最大的LLM一样多，这清楚地告诉你，我们不会仅通过训练文本就达到人类水平，文本不是一个足够丰富的信息来源。顺便说一下，1.6万小时的视频并不多，只是YouTube上传的30分钟。我们可以很容易地得到这些。现在，一个九个月的婴儿看到了，比如说，10^13字节，这也不多，在那段时间里，婴儿基本上学会了我们知道的所有直觉物理学，比如动量守恒、重力、物体不会自发消失、即使你隐藏它们它们仍然存在。有各种各样的东西，非常基础的东西，我们在生命的前几个月就学会了关于世界的东西，这就是我们需要用机器重现的，这种学习类型，弄清楚世界上什么是可能的，什么是不可能的，你采取的行动会产生什么结果，这样你就可以计划一系列行动来达到特定目标。这就是世界模型的想法。现在，与关于视频生成系统的问题联系起来，解决这个问题的正确方法是训练越来越好的视频生成系统吗？我的回答是绝对不是。理解世界的问题并不是通过在像素级别生成视频的解决方案。我不需要知道，如果我拿这个水杯把它洒了，我不能完全预测水在桌子上的确切路径和形状，以及它会发出什么噪音。但在某种抽象层次上，我可以预测水会洒出来，可能会把我的手机弄湿。所以我不能预测所有细节，但我可以在某种抽象层次上预测，我认为这是一个关键概念。如果你想要一个系统能够学习理解世界并了解世界如何运作，它需要能够学习世界的抽象表示，使你能够做出这些预测。这意味着这些架构不会是生成式的。
主持人： 我想稍后谈谈你的解决方案，但我也想说，我们的对话怎么能没有演示呢？所以我想给你看，我会在视频中把这个放在屏幕上，这是一个我很骄傲的视频。我让一个家伙坐在椅子上踢腿，腿还附着在他的身体上，我想，好的，这些东西真的在进步。然后我说，能不能给我一个汽车撞进干草堆的视频？结果是两个干草堆，然后一个干草堆神奇地从一辆静止的汽车引擎盖上冒出来，我就对自己说，好的，Yann又赢了。
Yann LeCun： 是的，那些系统是用大量人类数据微调的，因为那是人们最常要求视频的内容，所以有很多人类做各种事情的数据来训练这些系统，所以这就是为什么它对人类有效，但对于训练系统的人没有预料到的情况就不行。
六、JEPA：一种新的AI架构
主持人： 所以你说，模型不能是生成式的才能理解现实世界。你正在研究一种叫做V-JEPA的东西，JEPA，对吗？V代表视频，你还有I-JEPA用于图像，还有用于文本的JEPA。所以解释一下这将如何解决让机器抽象地表示现实世界中发生的事情的问题。
Yann LeCun： AI 的成功，尤其是自然语言理解和计算机视觉，主要得益于自我监督学习。自我监督学习的核心是损坏输入数据（文本、图像或视频），然后训练神经网络恢复原始版本。例如，在文本中删除一些词，让系统预测缺失部分；在图像或视频中遮挡部分内容，让系统重建。这种方法使 LLM 仅通过重现输入文本进行训练，不需要人为标注，形成因果架构，所有聊天机器人都是基于此构建的。然而，自我监督学习在图像和视频上的效果不如文本。预测下一个单词相对简单，因为词汇量有限，可以通过概率分布建模。但视频是高维连续空间，我们无法有效表示其概率分布，因此传统方法难以奏效。我尝试多年在视频上复现 LLM 的训练方式，但始终不理想。替代方案是 JEPA（联合嵌入预测架构），它不同于生成式方法，不是重建输入，而是学习抽象表示。具体而言，系统对完整和损坏的图像进行编码，训练预测器从损坏的图像表示预测完整图像的表示。这种方法比传统生成模型更有效。我们也将其应用于视频，训练系统预测视频表示，而非具体帧，从而学会视频的内在结构。例如，在检测物理一致性时，系统可识别不可能的视频（如消失的物体），误差会飙升，表明它已学到某种常识。更进一步，我们开发了动作条件 JEPA，训练系统理解世界状态如何随行动变化。给定 T 时刻的世界状态及一个动作，系统预测 T+1 时刻的状态。这样，它可以在抽象空间中模拟行动结果，进而推理并规划达到目标的最佳行动序列。这是真正的推理和规划。
主持人： 我必须在这里结束，因为我们超时了，但你能给我60秒对DeepSeek的反应，以及开源是否已经超过专有模型了吗？我们得限制在60秒，否则你的团队会杀了我。
Yann LeCun： 不好说 DeepSeek‘超过’其他模型，但开源进展更快，这是肯定的。专有公司同样受益于开源进展，因为信息对所有人开放。开源的优势在于，它汇聚全球人才，催生更多创新，任何公司都无法垄断好主意。DeepSeek 证明，一个自由的小团队，在少有约束的环境下专注开发下一代 LLMs，能提出新颖想法，甚至重新定义方法。如果他们分享成果，全世界都会受益。这说明开源推动创新，专有模式可能难以跟上。此外，开源运行成本更低，许多企业在原型阶段使用专有 API，但产品部署时转向 Llama 或其他开源引擎，因为它更便宜、安全、可控，可本地运行。过去一些人担心开源会帮助中国，但 DeepSeek 证明，中国不需要外部帮助就能提出出色的想法。中国有许多优秀科学家，比如 ResNet 论文（2015 年）是全科学领域被引用最多的论文之一，作者何恺明当时在北京微软研究院，之后加入 FAIR，再后来成为 MIT 教授。 全球科学家都在推动进步，硅谷并不垄断创新。Llama 1 诞生于巴黎的 FAIR 实验室，仅由 12 人开发。这表明，要加速科技进步，就必须利用全球的多样性、背景和创造力，而开源正是实现这一点的关键。
主持人： Yann，和你交谈总是很愉快。感谢你参加我们的节目，这是我们的第四或第五次交谈，追溯到九年前。你总是帮助我看透所有的炒作和喧嚣，真正弄清楚发生了什么，我相信对我们的听众和观众也是如此。所以Yann，非常感谢你参加，希望我们很快再次这样做。
Yann LeCun： 谢谢。
【往期回顾】
参考资料：https://www.youtube.com/watch?v=qvNCVYkHKfg&t=1827s
来源：官方媒体/网络新闻
编辑：深思
主编: 图灵