JEDEC固态存储协会在今年4月发布了HBM4规范，主要特性包括：采用了2048-bit接口，传输速度高达8Gb/s，可将总带宽提高到2TB/s；每个堆栈的独立通道数量增加了一倍，从16个通道（HBM3）增加到32个通道；支持4层、8层、12层和16层DRAM堆栈配置，芯片容量为24Gb或32Gb，单个堆栈最大容量可达64GB。HBM4的性能得到了大幅度提升，将是2026年AI GPU的首选，AMD和英伟达都确认了会在新一代产品中引入。
据TECHPOWERUP报道，AMD和英伟达都将在明年的下一代AI加速器中首次采用定制HBM，均为基于HBM4的设计，而其他加速器要等到2027年，包括博通和联发科等厂商，可能选择围绕HBM4E的解决方案。
英伟达将用于Rubin架构GPU，而AMD则用于Instinct MI400系列AI加速器，这也是AMD首次以机架规模的形式提供AI产品。过去厂商通常会选用现成的HBM，以满足三星、美光和SK海力士等供应商实施的标准化定价模式。不过随着订购数量的增加，AMD和英伟达有了更大的话语权，可以要求加入特定的功能。由于HBM对基模修改是开放的，为此AMD和英伟达都准备按照自身的需要进行修改。
这种做法可以降低延迟并提高性能，而AI推理过程中，延迟是一个重要的因素，拥有“更智能”的HBM可以带来可观的收益。
