DeepSeek-R1论文登上Nature封面

头像

鹤啸九天的科技思考

2025-09-18 12:04发布于北京

问AI · DeepSeek-R1如何用强化学习激发推理能力？
2025年9月18日，Nature封面选中了梁文锋的DeepSeek。
图片
要点：

  • 大语言模型（LLMs）如果能被训练成尝试解决方案时列出步骤，往往能更好地解决问题。这种 “推理” 方式与人类处理思路相似，但它给人工智能带来了重大挑战，需要人为介入来添加标签和注释。本周刊中，深度求索（DeepSeek）的研究人员展示了如何训练模型，不仅能以这种方式进行推理，而且只需极少的人工输入。该模型 DeepSeek-R1 是通过强化学习进行训练的……


2025年1月, DeepSeek 在 arxiv 公布的论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，通讯作者是梁文锋。
Nature文章概要：
图片
摘要要点：
  • 大语言模型的推理能力可通过纯强化学习（RL）来激发，无需依赖人工标注的推理轨迹。
  • DeepSeek提出的强化学习框架促进高级推理模式的自主涌现，例如自我反思、验证以及动态策略调整。
  • 模型在数学、编程竞赛和 STEM（科学、技术、工程、数学）领域等可验证任务上展现出更优异的性能，超越了传统监督学习（基于人工演示数据）训练的同类模型。

以往的研究主要依赖大量监督数据提升模型性能。DeepSeek 团队则开辟了一种全新思路：即使不用监督微调（SFT）作为冷启动，通过大规模强化学习也能显著提升模型的推理能力。如果再加上少量的冷启动数据，效果会更好。

DeepSeek-R1训练过程图解

图片

效果显著：DeepSeek-R1-Zero准确率、输出长度稳步上升

图片

Nature 还盛赞 DeepSeek-R1 的开放模式。

  • R1 被认为是首个通过权威学术期刊同行评审的大语言模型。


Hugging Face 机器学习工程师、该论文审稿人之一的 Lewis Tunstall 表示：

「这是一个备受欢迎的先例。如果缺乏这种公开分享大部分研发过程的行业规范，我们将很难评估这些系统的潜在风险。」
当前 AI 行业充斥着发布会上的惊艳演示和不断刷新的排行榜分数，而基准测试可被「操控」, 将模型的设计、方法论和局限性交由独立的外部专家审视，能够有效挤出其中的水分。

同行评审充当公正的「守门人」，它要求 AI 公司从「王婆卖瓜」式的自我宣传，转向用扎实证据和可复现流程来支持其声明。

俄亥俄州立大学 AI 研究员 Huan Sun 评论道：

「经历严格的同行评审，无疑能有效验证模型的可靠性与实用价值。其他公司也应效仿此举。」

DeepSeek-R1 论文除了本身的科学价值，还是首个接受并通过主流期刊同行评审的 LLM，「程序价值」可能更为深远。


附录
  • Nature封面地址：https://www.nature.com/nature/volumes/645/issues/8081
  • Nature文章：https://www.nature.com/articles/s41586-025-09422-z
  • 机器之心介绍：刚刚，DeepSeek-R1论文登上Nature封面，通讯作者梁文锋