1.DeepSeek R1的问世引发了全球AI行业的关注,美国两大AI巨头Anthropic和OpenAI迅速作出回应。
2.Anthropic首席执行官Dario Amodei表示,DeepSeek的训练成本降低符合行业趋势,并不代表突破性技术成就。
3.OpenAI首席研究员Mark Chen认为,DeepSeek独立发现了OpenAI在o1模型研发过程中的一些核心理念,但强调成本优势解读有些过头。
4.纽约大学教授Gary Marcus认为,DeepSeek对OpenAI构成实质性威胁,可能影响其商业模式和估值。
以上内容由腾讯混元大模型生成,仅供参考
如果 AI 训练成本的下降趋势是 每年 4 倍,如果 DeepSeek-V3 的训练成本比一年前开发的美国当前模型低约 8 倍,那其实完全符合正常趋势......即使接受 DeepSeek 的训练成本数据,他们也只是处于趋势线上,甚至可能还未完全达到。
规模法则
计算成本的下降
训练范式的变化
DeepSeek 并没有“用 600 万美元做到美国 AI 公司花费数十亿美元才能实现的事情”。以 Anthropic 为例,Claude 3.5 Sonnet 是一个中等规模的模型,训练成本达 数千万美元,远不是数十亿美元级别。
并且,Claude 3.5 Sonnet 训练于 9-12 个月前,而 DeepSeek 的模型训练于 2023 年 11 月至 12 月,即便如此,Claude 3.5 Sonnet 在多个关键评估中仍明显领先。
DeepSeek 的训练成本并未突破行业趋势。如果成本曲线下降的历史趋势是每年约 4 倍,那么按照正常业务发展——即 2023 年和 2024 年的成本下降趋势——我们现在应该会看到一个比 3.5 Sonnet/GPT-4 便宜 3 到 4 倍的模型。
然而,DeepSeek-V3 的性能比这些美国前沿模型差一些——假设在扩展曲线上差约 2 倍,这已经是对 DeepSeek-V3 相当慷慨的估计了——这意味着,如果 DeepSeek-V3 的训练成本比一年前开发的美国当前模型低约 8 倍,那其实完全符合正常趋势。
我虽不便给出确切数字,但从前面的分析可以看出,即使接受 DeepSeek 的训练成本数据,他们也只是处于趋势线上,甚至可能还未完全达到。
比如,这比原始 GPT-4 到 Claude 3.5 Sonnet 的推理价格差异(10 倍)要小,而且 3.5 Sonnet 本身也是一个比 GPT-4 更好的模型。这些都表明,DeepSeek-V3 并非独特的突破,也没有从根本上改变 LLM 的经济性,它只是持续成本降低曲线上一个预期的点。
不同的是,这次第一个展示预期成本降低的公司是中国的,这在以往从未有过,具有重大的地缘政治意义。不过,美国公司很快也会跟上这一趋势——他们不会通过抄袭 DeepSeek 来实现成本降低,而是因为他们自身也在沿着常规的成本降低趋势发展。
DeepSeek 不是第一个实现成本优化的公司,但它是第一个来自中国的公司。这一点在地缘政治上意义重大。但同样,美国 AI 公司也会很快跟进——并不是通过抄袭 DeepSeek,而是因为它们本就沿着同样的技术路线前进。
“祝贺DeepSeek成功研发出o1级推理模型!他们的研究论文表明,他们独立发现了我们在实现o1过程中所采用的一些核心思想”