客户端
游戏
无障碍

11

评论

15

21

手机看

微信扫一扫,随时随地看

DeepSeek引发资本市场对算力增长展望的担忧 华泰证券分析

AI划重点 · 全文约3085字,阅读需9分钟

1.AI产业变化迅速,中美竞争日益激烈,美股财报数据揭示了新的市场动态和技术突破。

2.DeepSeek发布Genus Pro多模态大模型,具备处理文本、图像等多种数据类型的能力,成为全球增速最快的AI应用之一。

3.此外,DeepSeek Genus Pro的技术改进包括将图像生成和理解解耦为两个独立的编码器,提高了准确性和性能。

4.未来,DeepSeek将继续优化模型架构,以应对更加复杂的AI应用场景。

5.中国AI资产的重估正在逐步展开,投资者应密切关注这一领域的动态,抓住投资机会。

以上内容由腾讯混元大模型生成,仅供参考

图片

1. AI产业变化与中美竞争

AI产业的变化极为迅速,涉及的变量众多,中美之间的竞争和进展在不同阶段得出的结论各不相同。美股过去三个季度的季报显示,每轮季报的信息和结论都有显著差异,这表明及时修正对产业的认知至关重要。例如,在DeepSeek开源之前,面向消费者的应用并不被看好,因为这些应用容易被大型科技公司颠覆。然而,随着DeepSeek模型的开源,模型能力不再是竞争的核心因素,市场开始重新评估各类公司在产业链中的投资价值。

这种快速变化要求投资者和从业者不断调整对产业的理解和预期。特别是在中美之间,AI技术的竞争日益激烈,双方的技术进步和政策支持都在不断演变。美股的表现也反映了这一趋势,每个季度的财报数据都揭示了新的市场动态和技术突破。因此,保持对产业变化的高度敏感性,并及时调整认知,是应对这一复杂局面的关键。

2. DeepSeek Genus Pro的发展与市场表现

DeepSeek刚发布的Genus Pro是一个多模态大模型,具备处理文本、图像等多种数据类型的能力。DBC的多模态大模型并非新事物,去年10月已发布基础版本,而此次发布的Pro版本则进一步提升了性能和功能。在过去两周内,DeepSeek超过了ChatGPT,成为全球增速最快的AI应用之一,目前日活跃用户(DAU)已超过200万至250万。

DeepSeek的增长背后,通用人工智能(AGI)成为了讨论的焦点。不同的专家对AGI的时间点有不同的预测,如马斯克预计2026年实现,达里奥则认为可能在2026-2027年。DeepSeek创始人梁文峰也加入了这一讨论,强调中国AI能否加速实现AGI甚至超智能(ASI)是2025年关注的重点问题。DeepSeek的快速发展不仅展示了其技术实力,也为全球AI产业带来了新的思考方向。

3. 模型迭代与技术进步

推荐模型包括DeepSeek,1月20日发布的R1是一个多模态模型,而非推理模型。OKI在过去半年内从o1迭代到o3,预计o4将在2025年二季度或三季度发布。欧系模型的迭代速度明显快于GPT模型,DeepSeek在短期内表现出强劲的势头。DeepSeek Genus对应于OPI的图像理解与生成模块,通用大模型具备多模态能力,其中图像理解和生成是其一部分功能。

具体来看,DeepSeek的模型迭代速度非常快,从R1到o3再到未来的o4,每次迭代都带来了显著的技术提升。欧系模型的迭代速度更快,使得DeepSeek能够在短时间内推出多个版本,保持技术领先。DeepSeek Genus的图像理解和生成模块基于其通用模型能力构建,确保了其在多模态任务中的卓越表现。未来,DeepSeek将继续优化其模型架构,以应对更加复杂的AI应用场景。

4. Genus Pro的技术改进

Genus Pro的技术报告相比Genus更新部分仅占一半,但关键改进在于将图像生成和理解解耦为两个独立的编码器,分别处理图像理解和生成。这是Genus模型的重要升级,显著提高了准确性和性能。编码器的作用是特征提取、模式识别和数据转换,将输入数据转换成模型可识别的向量和矩阵。以前,图片生成和理解使用相同的编码器,容易导致错误。现在通过解耦,提高了准确性和性能。

具体而言,Genus Pro的训练过程分为三个阶段:第一阶段是训练适配器和图像头(image head),第二阶段是统一预训练,第三阶段是监督微调(SFT)。适配器用于执行特定任务,减少参数调整的数量,而多头注意力机制(Multi-Head Attention)则确保不同任务的有效处理。Genus Pro的优化策略包括延长训练时间、使用长文本到图像数据进行统一预训练,以及调整SFT中的数据比例,以优化模型性能。

此外,Genus Pro的训练数据集在原有基础上增加了7200万个合成数据,总样本数据达到约2.32亿个token。参数量分为两个版本:10亿参数(1B)和70亿参数(7B),后者尤其表现出色。7B版本通过增加高质量合成数据来增强模型能力,训练成本为558万美元,使用16到32个节点集群,每个节点配备8个A100 GPU,40GB内存。这些改进使得Genus Pro在同类参数量模型中性能最佳,为未来的AI应用提供了强大的技术支持。

5. 训练过程与优化策略

Genus Pro的训练分为三个阶段,每个阶段都有其独特的目标和方法。第一阶段是训练适配器和图像头(image head),这一阶段旨在使模型能够处理特定任务,例如交互类、电商类购物相关任务或文本处理类任务。适配器的设计使得模型能够像稀疏架构一样工作,只唤醒与任务相关的部分,从而减少对算力的需求。适配器的学习方法可以减少参数调整的数量,只需更改需要调整的部分,而保留预训练的知识和任务适应性。

第二阶段是统一预训练,基于通用大模型进行训练。这一阶段的目标是让模型在广泛的多模态数据上学习,以增强其通用能力。通过使用长文本到图像数据,模型能够在更复杂的场景中表现出色。统一预训练不仅提升了模型的泛化能力,还为后续的微调打下了坚实的基础。

第三阶段是监督微调(SFT),即在后训练阶段对模型进行监督和纠正,确保其输出符合预期标准。监督微调类似于家长检查孩子的学习内容,确保其输出符合现实的价值观和标准。这一阶段通过调整多模态数据、纯文本数据和文本到图像数据的比例,进一步优化了模型性能。这些改进显著提升了Genus Pro在实际应用中的表现。

6. 模型参数与训练成本

Genus模型参数量为1.5亿,与其他模型的参数量(十几亿到几十亿)相比处于较低水平。尽管参数量相对较小,但该模型效果排在前三分之一,展示了其高效性和实用性。DeepSeek Pro有两个版本,分别是1.3亿参数和70亿参数。这两个版本在同类参数量模型中性能最佳,尤其是70亿参数版本,表现出色。

2024年10月17日发布的Genus Pro 7B版本使用了1.6亿个token的数据集,并额外加入了7200万个合成数据。这些合成数据显著提升了模型性能,特别是在图片生成和理解任务上。Pro 7B版本通过增加高质量合成数据来增强模型能力,使其在复杂场景中更具竞争力。

V3训练成本为558万美元,这仅包括一次训练过程的成本。DeepSeek Genus Pro训练资源为16到32个节点集群,每个节点配备8个A100 GPU,40GB内存。15亿参数模型使用128张A100卡训练7天,70亿参数模型使用256张A100卡训练14天。这种高效的训练资源配置确保了模型在短时间内达到最优性能。

7. 未来发展趋势与强化学习

要达到超人智能(ASI),单纯依靠大模型是不够的,必须通过超级强化学习(Super Skill RL)。历史上多次证明,强化学习能显著提升模型能力。未来的模型几乎都会使用强化学习,因为OpenAI已经在CRL方面取得了极致成果。后训练(Post-training)尚未完全展开,因此仍有很大潜力。

大模型的学习过程可以类比为人类的成长过程,分为pre-training和post-training两个阶段。Pre-training类似于自由成长阶段,模型在这个阶段通过大规模无监督学习积累知识;而post-training则类似于接受正规教育的过程,通过监督微调和强化学习进一步提升模型的能力。毕业后进入工作生活,即search阶段,在实际工作中总结经验,提升能力。这种范式表明,RL在AI中的角色至关重要,只是刚开始,未来还有更多发展空间。

8. 中国AI资产的重估

中国的AI资产在过去一段时间经历了重要的拐点式变化,值得被重估。过去两三年跟踪美股AI的投资者已经看到了很多变化,而中国AI的发展也逐渐展现出希望。重估AI资产是一个中长期的产业逻辑,需要结合短期节奏,特别是在股票市场的表现上。A股的产业节奏和股价节奏并不完全同步,因此需要及时修正中长期趋势,同时重视中短期变化。

美股的AI产业进展依然值得跟踪学习,中国的变化同样值得关注。未来一段时间内,客观看待这一变化尤为重要。随着DeepSeek等公司不断推出创新产品和技术,中国AI产业正在逐步缩小与国际领先水平的差距,展现出巨大的发展潜力。投资者应密切关注这一领域的动态,抓住其中的投资机会。

免责声明:本内容来自腾讯平台创作者,不代表腾讯新闻或腾讯网的观点和立场。
举报
评论 0文明上网理性发言,请遵守《新闻评论服务协议》
请先登录后发表评论~
查看全部0条评论
首页
刷新
反馈
顶部