188GB显存 800W功耗!NVIDIA收布H100 NVL减速卡:ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用,之所以能达到如此 聪明 的程度,背后离不开海量的训练,离不开强大的算力,使用的是NVIDIA A100加速计算卡。

GTC 2023春季技术大会上,NVIDIA又发布了顶级的H100 NVL,它是已有H100系列的特殊加强版,专为大型语言模型(LLM)进行优化,是部署ChatGPT等应用的理想平台。

H100 NVL单卡具备多达94GB HBM3高带宽显存(内存),照此容量看显然是开启了完整的6144-bit位宽,并启用了全部六颗,等效频率按照5.1GHz计算的话,带宽就是恐怖的3.9TB/s。

但也有个问题,六颗HBM3显存总容量应该是96GB,但是这里少了2GB,官方没有解释,猜测还是出于良品率考虑,屏蔽了少数存储单元。

相比之下,H100 PCIe/SXM版本都只开启了5120-bit位宽,六个显存位只使用五个,容量均为80GB,区别在于一个是HBM2e 2TB/s带宽,一个是HBM3 3.35TB/s带宽。

H100 NVL还可以双卡组成一个计算节点,彼此通过PCIe 5.0总线互连,总显存容量就是188GB,总显存带宽7.8TB/s,NVLink带宽600GB/s,总功耗可达700-800W。

计算性能相当于H100 SXM的整整两倍,意味着也开启了全部16896个CUDA核心、528个Tensor核心,其中FP64双精度浮点性能64TFlops,FP32单精度浮点性能134TFlops。

再加上Transformer引擎加速的辅佐,在数据中心规模,H100 NVL与上一代A100相比,GPT-3上的推理性能提高了多达12倍。

H100 NVL将在今年下半年开始出货,价格 尽情想象去吧。

值得一提的是,NVIDIA还同时推出了其他两套推理平台:

NVIDIA L4:

适用于AI视频,性能比CPU高出120倍,能效提高99,提供强大的的视频解码和转码能力、视频流式传输、增强现实、生成式AI视频等。

NVIDIA L40:

适用于图像生成,针对图形以及AI支持的2D、视频和3D图像生成进行了优化,与上一代产品相比,Stable Diffusion推理性能提高7倍,Omniverse性能提高12倍。

顺带一提,CPU、GPU二合一的NVIDIA Grace Hopper适用于图形推荐模型、矢量数据库、图神经网络,通过NVLink-C2C 900GB/s带宽连接CPU和GPU,数据传输和查询速度比PCIe 5.0快了7倍。