英伟达 NVIDIA GH200：Grace Hopper技术解析

芝能汽车

2024-09-18 08:23发布于上海电动汽车三电工程师

全文1428字，阅读约需5分钟，帮我划重点

划重点

01NVIDIA推出最新硬件解决方案NVIDIA GH200，集成高性能Arm CPU与Hopper GPU，提供极高带宽和性能。

02GH200采用LPDDR5X内存封装，降低信号传输延迟和功耗，提供120GB、240GB和480GB三种内存配置。

03此外，GH200通过NVLink-C2C接口连接CPU和GPU，提供高带宽、低延迟的数据交换。

04GH200在人工智能训练和推理、高性能计算以及数据中心和云计算等领域具有潜在优势。

05由于GH200的多样性和灵活性，用户需明确内存、GPU类型及TDP范围，以确保符合特定需求。

以上内容由腾讯混元大模型生成，仅供参考

图片芝能智芯出品


NVIDIA GH200（又称为Grace Hopper）是目前市场上备受瞩目产品之一，由NVIDIA推出的最新硬件解决方案，融合了高性能的Arm CPU与Hopper GPU，通过创新的设计和内存架构，为高性能计算提供了一种全新的解决方案。


NVIDIA GH200 的独特之处在于其CPU与GPU的集成方式。它包含72个基于Arm v9架构的内核（Neoverse V2），并通过高速的NVLink-C2C接口将CPU与GPU紧密相连，提供了极高的带宽和性能。

此外，GH200提供了多种内存配置和GPU版本，使其在灵活性和可扩展性方面表现出色。

图片



Part 1

GH200 的关键技术特点

图片

NVIDIA GH200 的两个主要创新点包括：

● LPDDR5X 内存封装：不同于传统的服务器内存设计，GH200将内存直接焊接到芯片上。这样不仅减少了信号传输延迟，还降低了内存的功耗，提升了性能。GH200提供120GB、240GB和480GB三种内存配置，最高带宽可达512GB/s。

● NVLink-C2C 接口：GH200采用NVIDIA自主研发的NVLink-C2C技术连接CPU和GPU。这种高带宽、低延迟的连接方式比传统的PCIe接口更有效率，使得CPU和GPU之间的数据交换更加迅速高效。

图片

通过这些创新技术，GH200能够在不增加功耗的情况下显著提升性能，使其在高性能计算（HPC）和人工智能（AI）训练任务中具有竞争优势。

GH200 提供多样化的内存和带宽配置：

● 内存容量与带宽：GH200提供三种LPDDR5X内存配置，分别是120GB、240GB和480GB，带宽分别为512GB/s（前两者）和384GB/s（后者）。这种灵活的内存配置可以满足不同计算任务的需求。

● HBM GPU 内存配置：GH200提供两种GPU内存配置：96GB HBM3和144GB HBM3E，带宽分别为4TB/s和4.9TB/s。这些配置使得GH200在应用上更具灵活性和适应性。

图片

GH200的功耗设计展示了其在高性能计算领域的创新。其功率范围从450W到1000W，既支持传统的风冷散热，也支持高效的液冷方案。用户可根据应用场景选择最适合的TDP设置，从而在性能和能耗之间找到平衡。

图片



Part 2

GH200 的应用场景和市场潜力

GH200 为高性能计算领域带来了新的可能性，其创新的架构和配置使其在多个场景中具有潜在优势：

● 人工智能训练和推理：大规模AI训练任务中表现突出，GPU版本的多样性（H100和H200）使其在推理任务中也非常灵活。

● 高性能计算（HPC）：高内存带宽和计算能力使其成为HPC环境的理想选择，无论是气候模拟还是分子动力学等任务。

● 数据中心和云计算：可配置TDP设计使其在这些场景下具有明显优势，用户可以根据需求选择最合适的配置。

图片

由于GH200名称和配置的复杂性，市场上对其存在误解，GH200并不是简单地替代或更新GH100，而是一种全新的组合方式。

用户在选择时需明确内存、GPU类型及TDP范围，以确保符合特定需求。

GH200的多样性和灵活性使其能够适应不同应用场景，成为高性能计算市场的重要成员，由于其复杂的配置选项，客户在选择和部署时需要仔细考量。

● CPU 内存配置：CPU 配备 120GB、240GB 或 480GB 的 LPDDR5X 内存，提供 384GB/s 或 512GB/s 的内存带宽。

● GPU 内存配置：GPU 采用 96GB HBM3 或 144GB (141GB) HBM3E，支持 4 TB/s 或 4.9 TB/s 的内存带宽。

● 性能表现：实际性能根据 TDP（热设计功耗）设置的不同而有所变化。



小结

NVIDIA GH200是一款创新的计算产品，通过整合高性能的Arm CPU和Hopper GPU，以及创新的内存封装和互连方式，为高性能计算和AI推理提供了新选择。
查看原图 28K