在其他六巨头发布财报后,市场就在翘首以待英伟达的财报。投资者与从业者都想听听黄仁勋怎么回应,下一代模型是不是撞到了墙,下一代芯片是不是交付困难,以及大规模应用落地是不是仍然遥遥无期。市场预期已经被拔得很高,整个行业投入大量精力与财力,期待与之匹配的回报。
英伟达季度收入继续增长,突破350亿美元,但勉强及格的财务数据,并没有提振市场信心。它预期下一季度表现较低。第三财季,英伟达营收同比增长放缓至94%,数个季度以来首次未达到三位数,经调整后毛利率75%,环比下降0.7个百分点;预期四季度营收增速还将进一步放缓,明年下半年之前,毛利率也无法反弹至75%以上。盘后,英伟达股价下跌近 2%。
英伟达收入增长趋势
在供给侧,英伟达下一代芯片出货延迟备受市场关注,设计缺陷与散热等问题的传言虚虚实实,这次财报电话会议也成为分析师“围攻”的关键。
今年下半年,英伟达先是遇到了设计问题。在发布之初,英伟达就介绍过B100与B200 GPU实际上由两个芯片连接而成,其中,封装设计涉及局部硅互联(LSI)桥接器、再布线(RDL)中介层等。架构效率取代新节点制程,成为影响新一代芯片性能与密度优势的关键之一。但此前媒体报道,这些组件的热膨胀特性并不匹配,在实际运行过程中会因为受热而翘曲变形,导致系统故障。英伟达已经修复了这个问题,这也使得B系列芯片实际量产比预期晚了三个月左右。
近期,市场又传出了机架散热问题。这其实也是当初英伟达发布B系列芯片,尤其是GB200 NVL72服务器时,semianalysis等分析机构就已经提前预判到的问题。72个GPU的服务器,每机架功率约120kW,而目前大多数数据中心标准功率的机架只有约12kW至约20kW。英伟达发布过自己定义的标准机架,理论上客户可以即插即用,但现实是不同客户有不同需求,存在几十种不同的部署的变体,需要权衡,复杂性显著提升。英伟达已指示其供应商对机架进行多项设计更改,以改善冷却。
设计问题与散热问题,本质上还是算力与电力的关系问题。计算就是能源的处理形式,在数据中心这一基础设施里面,电力转化成了算力。即使扩展定律(Scaling Laws)持续生效,无论是单芯片的功率、还是机架的功率、甚至数据中心乃至全国的装机功率,都在不断膨胀,会带来各类大大小小的工程问题。在碳中和目标制约下,还会遇到监管问题。
设计与散热,是B系列芯片早期量产阶段暴露的问题。从黄仁勋的回应来看,尽管工程非常困难,但团队目前已经解决了这些问题。英伟达在财报电话会议里,几乎把所有供应链客户都念了出来,按提及的顺序,包括台积电(封装与代工)、安费诺(连接器)、Vertiv(液冷)、海力士(内存)、美光(内存)、安靠(封装),以及KYEC、富士康、广达、纬颖、戴尔、惠普、超微等等。
但相关的问题,在明年,以及下一代芯片的设计、生产与部署中,仍然很可能再次出现,需要整条供应链通过持续的技术创新去解决。
改进模型效率,提升芯片能效是解决方向。英伟达在推出B系列芯片时,宣传重点之一就是能效提升幅度,但这很大程度上得益于更低精度的计算。一般,行业内使用FP16精度来训练大模型,去年以来,英伟达一直在宣传FP8 精度训练以及FP4精度推理。最近,来自MIT等高校论文研究发现,在低精度训练中,扩展定律变得更加复杂,因为量化带来的误差,可能影响模型的准确性,尤其是在处理大量数据时。
在需求侧,大模型面临“扩展定律”放缓的质疑,至少训练阶段如此。市场上没有GPT-5发布时间与性能水平的确凿信息。最接近GPT-5的是Orion,但它相对GPT-4的进步幅度相比以往正在缩小。OpenAI辩称o1开启了推理的扩展定律时代。中国的Deepseek复现了这一点,随着计算时间及对应token用量的增加,新模型DeepSeek-R1-Lite的得分稳步提升,比o1做的更好。
DeepSeek测试时计算扩展有效
在电话会议上,黄仁勋称,“预训练(pre-train)的扩展”仍然很好,还在继续;行业内出现了新的“后训练(post-train)的扩展”,包括强化学习的人类反馈,以及合成数据;最令人兴奋的是推理的扩展,会在英伟达未来的业务中发挥更大的作用。但他没有给出数据证据。
他所给出的,是基于所有三种扩展对基础设施需求乐观预期的市场前景数据:市场会增长至2030年,1万亿美元的传统数据中心会被“现代化”,生成式AI又带来了1万亿美元的增量市场。
但随着扩展定律转向推理阶段,Groq 和 Cerebras等初创企业,以及科技巨头自研推理芯片,将成为英伟达的有力竞争对手。本周,微软公布了自己的DPU产品,旨在高效、低功耗地运行Azure数据中心的工作负载。
此外,英伟达首席财务官在电话会议的致辞时称,人工智能的下一波浪潮是企业人工智能和工业人工智能,企业人工智能正在全面展开,以及主权人工智能(AI)也继续蓄势待发。Menlo Ventures最新发布的《2024年企业生成式AI现状》也证明企业正在追加投入。
但无论是算力基础设施、还是大模型作为战略技术栈,都存在着FOMO(错失恐惧)的情绪。需要辨别,这种需求是长期的、来自业务底层的营收增长或利润率提升,还是出于防御性的竞争需求。急着为一切打上copilot标签的微软,近期遭遇负面评论。反过来看,这似乎也暗示着,在消费级人工智能领域,应用落地相对滞后于预期了。
英伟达遇到的问题,也将是2025年整个行业需要面对与解答的问题。