随着 AI 工作负载和加速应用程序在复杂性和精密度上不断提升，企业和开发者需要更好的工具来评估其基础设施是否能够更高效地处理训练和推理的需求。为此，Nvidia 开发了一套名为 DGX Cloud 基准测试方案的性能测试工具，旨在帮助组织评估其硬件和云基础设施在运行当今最先进 AI 模型时的表现。我们 HotTech 团队最近有机会试用了其中的一些方案，发现它们能够捕获到极具洞察力的数据。
Nvidia 的工具包还提供了一个数据库和性能结果计算器，用于各种配置下的 GPU 计算工作负载，包括 Nvidia H100 GPU 的数量和云服务提供商，而这些方案则允许企业在自己的基础设施上进行真实的性能评估。这些结果可以帮助指导是否投资更强大的硬件、云服务提供商服务级别，或调整配置以更好地满足机器学习需求。这些工具还采用了全面的方法，整合了网络技术以实现最佳吞吐量。
什么是 DGX Cloud AI 基准测试方案？
Nvidia DGX Cloud 基准测试方案是一组预配置的容器和脚本，用户可以下载并在自己的基础设施上运行。这些容器经过优化，可以测试不同配置下各种 AI 模型的性能，对于那些在投入大规模 AI 工作负载或基础设施部署之前想要对系统进行基准测试的公司来说，这些工具非常有价值，无论是本地部署还是云端部署。
除了提供静态性能数据、训练时间和从数据库计算得出的效率外，Nvidia 还提供可随时下载的方案，让企业能够在自己的硬件或云基础设施上运行真实世界的测试，帮助他们理解不同配置的性能影响。这些方案包括对 Meta 的 Llama 3.1 和 Nvidia 自己的 Llama 3.1 分支 Nemotron 等模型的训练基准测试，覆盖多个云提供商 (AWS、Google Cloud 和 Azure)，并可以调整模型大小、GPU 使用和精度等因素。该数据库涵盖范围足够广泛，包含流行的 AI 模型，但它主要是为测试大规模预训练任务而设计，而不是针对较小模型的推理。基准测试过程也具有灵活性。用户可以通过调整 GPU 数量和训练模型大小等参数来使测试适应其特定基础设施。
Nvidia 结果数据库中的默认硬件配置使用该公司的高端 H100 80GB GPU，但它设计具有适应性。虽然目前不包括消费级或专业消费级 GPU (如 RTX A4000 或 RTX 50) 或该公司最新的 Blackwell GPU 系列，但这些选项可能在未来添加。
运行 DGX Cloud 基准测试方案很简单，只要满足一些先决条件。该过程有完善的文档，包括清晰的设置说明、运行基准测试和解释结果的指导。一旦基准测试完成，用户可以查看性能数据，其中包括训练时间、GPU 使用率和吞吐量等关键指标。这使企业能够做出数据驱动的决策，确定哪些配置能为其 AI 工作负载提供最佳性能和效率。这也可能在帮助公司维持绿色计划方面发挥重要作用，特别是在满足功耗和效率预算方面。
DGX Cloud 基准测试方案的市场影响和 AI 效率潜力
虽然 DGX Cloud 基准测试方案提供了宝贵的见解，但 Nvidia 的工具仍有一些可以扩展的领域。首先，基准测试方案目前主要关注大模型预训练，而不是实时推理性能。推理任务，如 token 生成或运行较小的 AI 模型，在许多商业应用中同样重要。扩展工具集以包含更详细的推理基准测试，将为不同硬件配置如何处理这些实时需求提供更全面的图景。此外，通过扩展方案选择以包括低端甚至更高端的 GPU (如 Blackwell 或竞争对手的产品)，Nvidia 可以服务更广泛的受众，特别是那些不需要 Hopper H100 80GB 集群强大计算能力的企业。
无论如何，Nvidia 的新 DGX Cloud 基准测试方案看起来是评估 AI 计算基础设施性能的非常有用的资源，可以在做出重大投资决策之前提供参考。它们提供了一种实用的方法来了解不同配置（无论是基于云还是本地）如何处理复杂的 AI 工作负载。这对于那些探索哪个云提供商最能满足其需求的组织，或者正在寻找优化现有基础设施新方法的公司来说特别有价值。
随着 AI 在商业和我们日常生活中的作用不断增长，像这样的工具将对指导基础设施决策、平衡性能与成本和功耗，以及优化 AI 应用以满足现实世界需求变得至关重要。随着 Nvidia 扩展这些方案以包括更多以推理为重点的基准测试，并可能用更广泛的 GPU 选项扩展其参考数据，这些工具可能对各种规模的企业和开发者来说都变得更加不可或缺。