AI 内存新趋势——LPDDR(Low Power Double Data Rate)低功耗内存🧐 LPDDR 以前主要用在手机、笔记本电脑等对续航要求高的移动设备上。 英伟达在 GB200、GH200 上,在 CPU 部分放弃了通常的 DDR5,转而大规模采用 LPDDR5X 内存,相同带宽情况下,功耗降低约 80%。 CPU 是控制单元,负责指挥 GPU计算。多组 LPDDR5X 带宽达到 1TB/s,相比 DDR5 的200 GB/s 到 300 GB/s,增加 4-5倍。 LPDDR5X 核心供应商是美光 $MU 。 在英伟达最新的 GB300 架构,美光联合英伟达推出了 SOCAMM(新型压缩附加内存模块),只有传统内存条的三分之一大小,却能在一块小板上垂直堆叠 4 颗 16 层的 LPDDR5X 芯片。 总结下就是美光从卖内存条给英伟达,改为定制了。定制意味着依赖,意味着非标品,意味着换掉美光付出的门槛和代价很大。 这里还得吹下英伟达的工程能力。 LPDDR5X 功耗和带宽是优势,但权衡是内存容量受限、延迟高,以及无法升级维护。 英伟达用 GPU 的 HBM 显存承载AI 模型参数和中间计算数据。 Grace CPU 旁的 LPDDR5X 内存,退一步变为二级缓存和数据调度站。 用自己强大的 NVLink-C2C 强行抹平 LPDDR5X 的延迟。再用自己的整机方案解决无法维护的权衡,因为用户订的是机柜或者一整块芯片方案,不是标准化 CPU,不需要做模块化、可插拔。 英伟达在整体解决方案的每一环节都处在领先地位,有非常大的空间做权衡和调整,这是别的厂商做不到的事情。
在 X 查看 ↗