188GB显存 800W功耗！NVIDIA收布H100 NVL减速卡：ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此 聪明 的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。

GTC 2023春季技术大会上，NVIDIA又发布了顶级的H100 NVL，它是已有H100系列的特殊加强版，专为大型语言模型(LLM)进行优化，是部署ChatGPT等应用的理想平台。

H100 NVL单卡具备多达94GB HBM3高带宽显存(内存)，照此容量看显然是开启了完整的6144-bit位宽，并启用了全部六颗，等效频率按照5.1GHz计算的话，带宽就是恐怖的3.9TB/s。

但也有个问题，六颗HBM3显存总容量应该是96GB，但是这里少了2GB，官方没有解释，猜测还是出于良品率考虑，屏蔽了少数存储单元。

相比之下，H100 PCIe/SXM版本都只开启了5120-bit位宽，六个显存位只使用五个，容量均为80GB，区别在于一个是HBM2e 2TB/s带宽，一个是HBM3 3.35TB/s带宽。

H100 NVL还可以双卡组成一个计算节点，彼此通过PCIe 5.0总线互连，总显存容量就是188GB，总显存带宽7.8TB/s，NVLink带宽600GB/s，总功耗可达700-800W。

计算性能相当于H100 SXM的整整两倍，意味着也开启了全部16896个CUDA核心、528个Tensor核心，其中FP64双精度浮点性能64TFlops，FP32单精度浮点性能134TFlops。

再加上Transformer引擎加速的辅佐，在数据中心规模，H100 NVL与上一代A100相比，GPT-3上的推理性能提高了多达12倍。

H100 NVL将在今年下半年开始出货，价格 尽情想象去吧。

值得一提的是，NVIDIA还同时推出了其他两套推理平台：

NVIDIA L4：

适用于AI视频，性能比CPU高出120倍，能效提高99，提供强大的的视频解码和转码能力、视频流式传输、增强现实、生成式AI视频等。

NVIDIA L40：

适用于图像生成，针对图形以及AI支持的2D、视频和3D图像生成进行了优化，与上一代产品相比，Stable Diffusion推理性能提高7倍，Omniverse性能提高12倍。

顺带一提，CPU、GPU二合一的NVIDIA Grace Hopper适用于图形推荐模型、矢量数据库、图神经网络，通过NVLink-C2C 900GB/s带宽连接CPU和GPU，数据传输和查询速度比PCIe 5.0快了7倍。