H100显卡显存规格解析

提到高性能计算，H100几乎是绕不开的标杆。很多采购或技术选型时，大家最关心的就是它到底“吃”多少数据。简单说，目前主流且具有代表性的H100加速卡，标配的是80GB显存。但这背后不只是数字游戏，更是为了应对当下大模型动辄万亿参数的庞大吞吐需求。

一、80GB HBM3：打破数据墙的关键

H100的核心卖点之一，就是它搭载的HBM3（高带宽内存）。这可不是普通的DDR内存，而是堆叠式的高频存储技术。80GB这个容量，是专门为了让单次计算能容纳更多权重参数而设计的。在运行70B以上的大语言模型时，如果显存不够，模型就得拆分到多张卡甚至多台服务器上，通信延迟会呈指数级上升，效率大打折扣。有了80GB，单卡就能轻松承载大部分主流开源大模型的推理任务，大幅简化了集群部署的复杂度。

二、SXM与PCIe：两种形态的选择逻辑

在实际企业采购中，你会发现H100分成了两个主要版本，它们的显存配置和适用场景有所不同，选错了可能影响整体算力效能。

• SXM5形态：这是NVIDIA DGX系列服务器里的标准配置。通常以8卡为一个节点互联。单卡80GB HBM3，整节点就是640GB高速显存池。这种形态适合超大规模的训练集群，因为卡间通过NVLink高速互联，数据交换极快。如果你的业务是千亿参数级别的预训练，这是不二之选。
• PCIe形态：更贴近传统服务器架构，可以插在普通服务器的主板上。同样提供80GB显存版本（也有早期35GB版本，但已逐步淘汰）。它的优势在于灵活，适合那些不想购买专用DGX机柜，而是希望利用现有数据中心基础设施进行推理部署或中等规模微调的企业。

注意，无论哪种形态，80GB都是当前H100的主流规格。不要轻信市面上所谓的“定制小显存版”，除非你有很特殊的旧代码兼容需求，否则小显存会严重限制模型能力。

三、别只看显存大小，还要看带宽

有些朋友容易陷入一个误区：觉得显存越大越好，或者只盯着80GB这个数字。其实，对于H100这样的AI加速器，显存带宽（Memory Bandwidth）往往比容量更决定性能上限。H100的HBM3带宽高达3.35 TB/s，这是什么概念？相当于每秒能从内存里搬运3.35万亿字节的数据。这意味着，GPU核心再强，如果内存喂数据的速度跟不上，也会变成“饿着肚子的壮汉”。

此外，选型时还要考虑未来的扩展性。如果你现在的模型是70B，但随着技术发展未来要升级到175B或更大，那么依赖单卡80GB显存的方案可能会很快触顶。这时候，评估基于H100构建的分布式训练框架的效率，以及是否支持无缝扩容，比单纯比较单卡显存更有长远价值。

📌总结：H100主流显存为80GB HBM3，重点在于高带宽支撑大模型吞吐；SXM适合密集训练，PCIe适合灵活部署，选型需结合带宽与集群扩展性综合考量。

爱采购上有产品的详细资料，方便你参考选择。为你提供更加详细的信息参考～