随着大型语言模型（LLM）参数规模持续膨胀，人工智能（AI）系统的算力需求正以前所未有的速度增长，但内存已成为限制整体性能的核心瓶颈。在8月23日于美国斯坦福大学举行的Hot Chips 2026半导体大会上，美光（Micron）HBM（高带宽内存）设计架构研究员Raghu Sreeramaneni在演讲中对“内存墙（Memory Wall）”进行了深入剖析。他指出：计算能力大约每两年增长3倍，而内存能力每两年仅增长不到2倍。两者增速的差距意味着内存墙不仅持续存在，而且可能在进一步加剧。

HBM（高带宽内存） 是目前领先AI加速器中采用的DRAM主流类型。在典型的AI加速器中，大量计算工作受限于内存传输速度，处理器不得不频繁等待数据送达才能继续运作。一旦工作完成，系统进入计算约束阶段，此时数据以足够快的速度送达，使处理器保持繁忙。HBM虽然能拉高带宽上限，让内存密集型任务在碰壁前释放更高性能，但随着模型规模爆炸式增长，带宽与算力的落差正在不断拉大。

HBM面积暴增：90%的芯片面积被内存占据

HBM架构包含堆叠的DRAM芯片，内含多个独立通道，每个通道有2个伪通道，共享命令/地址总线和独立数据总线。此外，基础晶圆（Base Die） 负责主机与DRAM之间的命令与数据接口，通过微凸块物理层连接主机，并采用3D TSV物理层实现DRAM堆叠与基础晶圆的互连。这条数据“脊柱”从顶部贯穿至HBM立方体的底部，再通过高密度、短距离点对点连接（HBM4具备2,000个I/O）与中介层相连。

当前每一代HBM的升级都是在数据传输速率、伪通道数量、密度和堆叠高度上持续演进。但是，HBM的基本架构仍保持不变，各代之间仍进行的是增量式的改进。为了解决带宽不足的问题，现行芯片封装被迫堆叠更多HBM。

美光在简报中透露，在一个典型的GPU系统单晶片封装（SiP）中，若采用4个12层（12-high）的HBM堆叠，其内存硅芯片面积竟然占了整个封装总硅芯片面积的90%左右，相当于GPU硅芯片面积的8倍。这位居核心的HBM虽然外观仅有邮票大小，但已是目前技术跨界整合度最高、最为复杂的内存解决方案，融合了尖端的封装、制程与设计技术。

HBM vs DDR：带宽碾压，但面积效率不占优

相较传统的DDR5内存，HBM具备绝对的带宽优势。在典型GPU配置下，DDR5带宽约为300 GB/s（最高可达1 TB/s），而HBM系统则可提供高达5.3 TB/s的系统级带宽，性能高出15至17倍。此外，DDR5单颗芯片的晶圆Banks数为32个，而HBM3E已达128个，下一代HBM4更将攀升至256个，展现出远高于传统内存的极致并行处理能力。