字节+腾讯今年共买了46万张GPU,几乎赶上英伟达最大买家

金融时代文章《Microsoft acquires twice as many Nvidia AI chips as tech rivals》报道了互联网巨头们在AI领域疯狂竞争. 从报道中援引的数据我们会发现一个非常有趣的事实.字节+腾讯2024年共买了46万张GPU,几乎赶上英伟达最大买家微软.

图片

科技咨询公司Omdia估计,2024年微软大约购买了 48.5 万张,字节跳动 23万张,腾讯 23万张, 合计几乎赶上微软了. 而字节作为第二大英伟达GPU买家,无怪其旗下大模型以及大模型应用APP豆包在国内大模型竞争中已有遥遥领先之态. 

图片

有多少算力有多少智能

前些天, 业内还传出苹果正在和字节以及腾讯洽谈为苹果手机用户在国内AI功能提供基础大模型能力. 这在海外为OpenAI的ChatGPT大模型提供. 早几个月, 最初的传闻是和百度洽谈. 但你看看以上购买GPU榜单, 百度都没上榜, 何况百度的文心一言大模型在国内的竞争中, 怪不得苹果公司要另择大模型供应商.

科技公司GPU芯片购买量与数据中心支出 | 

根据科技咨询公司Omdia的估计, 虽然谷歌和亚马逊购买的英伟达GPU购买量远低于微软,但他们在AI算力中心的投入可不比微软低多少. 由下图可知,2024年虽然微软以300多亿美元的投入领先,但亚马逊和谷歌的差距并不大. 国内大厂还是字节和腾讯上榜.

图片

亚马逊虽然只买了英伟达19.6万张GPU,但其有自家Trainium和 Inferentia芯片130万张,数据中心支出260亿美元. 谷歌买了英伟达16.9万张,但同样有自家TPU芯片150万张. 根据风投机构 Menlo Ventures 的统计,今年OpenAI在企业AI领域的市场份额从50%下降至34%,而亚马逊支持的 Anthropic的市场份额翻了一番,从12%增至 24%。

谷歌Gemini 2.0 Flash:多项评测超OpenAI

12月12日,谷歌发布了新一代大模型Gemini 2.0 Flash,该模型在速度和能力上都有显著提升,更关键是Gemini 2.0定位是面向智能体时代的AI模型。

  • 支持原生图像生成和音频输出的多模态输出,并集成搜索、地图等功能。
  • 推出新的多模态实时API,支持实时音频、视频流输入等工具。

  • 多个AIAgent发布:Project Astra、Project Mariner和Jules。


谷歌算是王者归来,也重新回到了产品、模型、智能体、系统这所有领域的一线领先者位置。Gemini 2.0的好些评测指标也超过o1和ChatGPT-4o. 

图片

Open AI不再遥遥领先

2022年底, OpenAI发布ChatGPT起, 整个2023年可谓遥遥领先. 到2024年, 虽然OpenAI也发布了GPT4o, o1等模型, 但其它大厂也更新迭代自家模型, OpenAI看似难以再取得绝对的领先地位. 12月20日,OpenAI发布了下一代的推理模型o3,这是今年早些时候发布的o1推理模型的升级版本.OpenAI声称,至少在某些条件下,o3模型可以接近实现通用人工智能AGI(artificial general intelligence)。泛指能完成人类所能完成的任何任务的人工智能。OpenAI CEO山姆·奥尔特曼介绍称,OpenAI计划在1月底前正式推出o3 mini,之后推出完整版的o3。但笔者断言谷歌、亚马逊等其他竞争者并不会比o3落后, 或者说很有可能发布超过o3的性能的模型.
百万GPU集群计划预示有多少算力就有多少智能将持续
前几天, 微软CEO访谈, 提到谷歌、亚马逊等大厂都在建百万GPU集群. 据报道特斯拉的马斯克也在建, 字节跳动也计划打造百万GPU级别的数据中心. 可见当前十万GPU集群已无法满足模型训练与推演需要.

在2024年12月的人工智能顶会NeuralPS2024, OpenAI前首席科学家Ilya(ChatGPT之父)发布重磅分享《预训练时代即将走向终结》. Ilya认为虽然计算能力通过更好的硬件、更好的算法和更大的集群在增长,但数据量却没有相应的增长,我们只有一个互联网,可用的数据总量是有限的。Ilya提出几个解决方案, 其中包括.
  • 合成数据: 合成数据可以弥补真实数据不足,但如何生成高质量的合成数据是一个挑战。

  • 推理时间计算: 推理时间计算可以提高模型的效率和灵活性。

这两个方案都是需要更多算力支持.
视频生成成为新的方向:OpenAI Sora、谷歌的Veo、国产视频生成模型等都有惊艳的效果, 而视频生成绝对是算力的吞金兽. 
国产GPU任重

英伟达H20峰值算力仅为其旗舰
H200
的约15%, 即使这样字节和腾讯还大量采购, 不可谓不心酸. 只能期待华为、寒武纪等芯片设计、制造公司早日突破.