1
AI竞赛简史
2022年11月30日,基于A100 GPU系列训练的GPT3.5与 ChatGPT仿佛一夜之间吸引了全世界对 AI 的想象,并开启了AI竞赛。2023年3月21日,随着惊人的AI势头,H100很快就来了。
如果OpenAI可以用“旧”的A100构建智能,那么使用新推出的性能高3倍、价格多2倍的H100,你也能够构建一个更大、更好的模型,甚至可能超越OpenAI率先到达AGI——如果你的财力比OpenAI还雄厚。
第一个成功实现这一目标的AI公司,将获得新AI经济中的一大块份额——每一个分析师的粗略计算都表明,取代通用的人类智能将意味着数万亿美元的市场。如果能够成功,你将比地球上一半的国家或历史上任何王国都要富有。怀着这样的渴望,有100亿到1000亿美元的资金投入到AI公司和创始人身上,以推动新一轮科技革命,这导致H100的需求突然激增。
2
六千亿美元的投资之后
3
一张H100 SXM GPU的投资回报率(ROI)是多少?
这里将重点关注经济成本和租赁的ROI,对比不同的市场价格,不包括机会成本或业务价值。
短期按需租赁(按小时、周或月)
长期租赁(3-5年)
按需租赁的ROI
2.85美元/小时:超过股市的内部收益率(IRR)
低于2.85美元/小时:低于股市的IRR
低于1.65美元/小时:预期投资亏损
长期预订租赁(3年+)
4
硬件供应商与Nvidia合作(一次性购买成本) 数据中心基础设施提供商及合作伙伴(出售长期租赁,包括设施空间和/或H100节点) 风险投资基金、大型公司和初创公司:计划构建基础模型(或已经完成模型构建) 算力转售商:如Runpod、SFCompute、Together.ai、Vast.ai、GPUlist.ai 托管AI推理/微调提供商:使用上述资源的组合
5
对AI推理和微调的需求增加:由于许多“开放”模型缺乏适当的“开源”许可证,但仍然被免费分发和广泛使用,甚至用于商业用途。在这里,我们将统称它们为“开放权重”或“开放”模型。
灵活性:特定领域/任务的微调。 可靠性:不再有小的模型更新导致用例失效(目前,社区对模型权重在没有通知的情况下在公共API端点上悄悄更改导致不可解释的效果退化缺乏信任度)。 安全性和隐私:确保他们的提示词和客户数据的安全。
基础模型创建市场萎缩(小型和中型):我们用“模型创建者”来统称从零开始创建模型的组织。对于微调者,我们称他们为“模型微调者”。
微调的计算需求显著较低(通常需要4个节点或更少,通常是一个节点),而从零开始训练则需要16个节点或更多(对于70亿参数及以上的模型需要更多节点)。 这一行业转变基本上消灭了大量小型集群的需求。
2023年,文本和图像领域出现了大量小型和中型基础模型。 然而,如今,除非你非常有信心能够超越LLaMA3,或者你带来了新的东西(例如,新的架构、100倍更低的推理延迟、100多种语言支持等),否则几乎没有新的基础模型公司从零开始构建模型。 总体而言,大型玩家(如Facebook等)创建的小型和中型开放模型,使得小型玩家很难证明训练基础模型的合理性——除非他们有强大的差异化优势(技术或数据)——或者有计划扩展到更大的模型。 这一点在投资者中也有所反映,因为新的基础模型创建者的资金急剧减少。大多数小型团队已经转向微调。(这种情绪与最近多家公司不尽如人意的退出相吻合。) 目前,据我估计,全球大约有:<20个大型模型创建团队(即700亿参数及以上模型,也可能创建小型模型);<30个小型/中型模型创建团队(70亿到700亿参数模型)。 总体而言,全球只有不到50个团队在任何时间点会需要16个节点的H100(或更多)来进行基础模型训练。
全球有超过50个H100集群,每个集群拥有超过16个节点。
对于集群所有者,特别是那些在2023年初“抢购”中进行了长期租赁的各种基础模型初创公司和风险投资公司。 由于转向微调,以及H100交付时需要非常长的等待时间(最高峰时达到6个月或更长),许多团队可能在做出改变之前已经支付了预付款,这使得他们的预付硬件“到货即过时”。 另一方面,那些硬件按时到货,用于训练最初几个模型的团队,也意识到最好在下一次迭代中微调模型会更好,而不是自行构建新模型。 在这两种情况下,他们都会有未使用的算力资源,这些过剩资源通过“算力转售商”进入市场供应。
6
现有的约1000节点集群(建造成本超过5000万美元)已经不足以训练更大的模型。
在数十亿美元的规模上,购买资产(如服务器、土地等)对资产计算更有利,这些资产有账面价值(是公司估值和资产的一部分),而不是纯粹的租赁费用。
如果你没有相关的人才(他们有),你可以直接购买小型数据中心公司,这些公司有构建这些集群的专业知识。
价格低于H100
内存和计算能力超过H100,并在单节点上表现更优
总体上是很好的硬件
7
8
结论:不要购买全新的H100
英伟达投资者PPT,2014年10月,第14页的“数据中心”内容
其他人都在看