英伟达超级芯片所用的美光 SOCAMM内存，有什么技术优势？

美光 HBM3E 和 SOCAMM 产品已量产并出货，为 NVIDIA 的最新 AI 芯片提供高性能存储支持。

HBM3E 12H 36GB 和 HBM3E 8H 24GB 分别面向 NVIDIA 的 HGX B300 和 HGX B200 平台， SOCAMM 作为一款创新的模组化 LPDDR5X 解决方案，将助力 NVIDIA Grace Blackwell Ultra 超级芯片。美光存储技术在 AI 服务器内存市场还是有自己的立足之本的。

SOCAMM内存为NVIDIA Grace CPU提供模块化、高性能的内存支持。这一新型内存外形尺寸采用LPDDR5X技术，以其高带宽、低功耗和低延迟的特性。

与传统固定在印刷电路板（PCB）上的内存配置不同，SOCAMM内存采用模块化设计，类似于M.2 SSD，通过螺钉固定在主板上。这种设计使得内存模块可以轻松更换或升级，而无需更换整个PCB组件。

服务器制造商因此能够在生产后期根据客户需求灵活调整内存容量和带宽，提高了生产效率和适应性，在NVIDIA GTC 2025展出的GB300主板上，SOCAMM模块安装在Grace CPU两侧，清晰展示了其易于安装和扩展的特点。

在NVIDIA Grace GB300服务器中，SOCAMM内存与Grace CPU紧密配合，提升了系统的性能。

GB300主板的展示表明，SOCAMM模块通过模块化布局优化了内存带宽，为服务器提供了更大的扩展空间。之前的Grace Hopper（GH200）服务器内存配置较为固定，难以满足多样化的需求。

而SOCAMM的引入解决了这一问题，为GB300带来了更高的灵活性和计算能力。这种内存设计不仅限于大型服务器平台，还被应用于工作站主板，展现了其广泛的适用性。

SOCAMM内存提供了一种高效的解决方案。

◎ LPDDR5X技术的高带宽和低功耗特性，使其能够应对日益复杂的计算任务。

◎ 模块化设计的灵活性意味着未来可以轻松升级内存容量，适应不断变化的市场需求。

◎ 美光与NVIDIA的合作将进一步推动这一技术的发展，可能将其应用扩展至更多计算平台。

● HBM3E：高带宽低功耗，AI 计算突破瓶颈

◎ 美光推出的 HBM3E 12H 36GB 相较于 HBM3E 8H 24GB 具备 50% 的容量提升，同时功耗降低 20%，使得 AI 计算能够在更高能效下运行。

◎ HBM 采用堆叠式架构，通过 TSV（硅通孔）技术实现高密度封装，从而提供更高的存储带宽，同时降低功耗。

◎ 在 AI 训练中，HBM3E 能够加速数据加载和计算过程，减少存储访问延迟，提高 GPU 计算效率。

◎ 美光的 HBM3E 12H 36GB 在相同封装尺寸下，实现了更高的存储容量，优化了服务器集群的计算能力，提升了 AI 计算的能效比。

● SOCAMM：AI 服务器的存储架构

SOCAMM（Solderable CAMM）是美光与 NVIDIA 共同开发的一款模组化 LPDDR5X 内存，专为 NVIDIA Grace Blackwell Ultra 平台优化。

其主要优势包括：

◎ 更高带宽：SOCAMM 在相同容量下比 RDIMM 高出 2.5 倍的带宽，能够更快访问庞大的 AI 训练数据，提高推理任务的数据吞吐能力。

◎ 更小尺寸：SOCAMM 仅为 14x90mm，占用空间仅为标准 RDIMM 的三分之一，使得服务器可以更加紧凑、散热更高效。

◎ 更低功耗：SOCAMM 功耗仅为 DDR5 RDIMM 的三分之一，优化 AI 服务器的能耗比。

◎ 更高容量：采用 16 层堆叠 LPDDR5X，每个模组容量达 128GB，突破 LPDDR5X 内存的容量限制。

SOCAMM 采用模块化设计，类似于 M.2 SSD，可以轻松更换和升级，无需整体更换 PCB。这种设计显著提高了服务器的可维护性，同时也有助于未来的液冷散热优化。

对 AI 服务器而言带来了更大的灵活性，使厂商可以根据不同 AI 任务需求进行动态配置，降低长期运营成本。

美光的HBM3E和SOCAMM产品，还是有很大的突破，在高性能存储领域还是有江湖地位的。

HBM3E凭借高带宽和低功耗特性，显著提升了AI计算效率；SOCAMM则通过模块化设计和LPDDR5X技术，带来了更高的灵活性和更低的维护成本。这NVIDIA的GB300平台的计算设备将更加高效、灵活。