D-Matrix开发新内存架构，或成AI处理器HBM替代方案

D-Matrix开发了一种新的内存架构，可能成为AI处理器中HBM的替代方案。该公司专注于提升AI处理器的内存访问速度，并在Hot Chips 2026活动上推出了新的加速器架构。与传统HBM方法不同，该公司将DRAM芯片直接放置在处理器逻辑下方，而非其旁边。在Raptor中，采用台积电N4工艺制造的逻辑芯片被放置在特制DRAM之上。这种结构显著缩短了处理器与内存之间的连接。D-Matrix表示，这可以提供更高的带宽和更低的数据传输功耗。Raptor 3D-DRAM设计提供32 GB内存容量和超过100 TB/s的带宽。根据D-Matrix的对比，使用192 GB HBM4的配置可达到约18 TB/s的带宽。因此，Raptor的主要优势在于其数据传输能力。虽然HBM可以容纳更大量的数据，但D-Matrix的3D-DRAM方法旨在对更小的数据池提供更快的访问。该公司专门为AI工作负载而非游戏显卡开发此架构。主要原因之一是大语言模型推理阶段对内存访问的密集需求。每次语言模型生成新token时，都必须反复访问模型数据和称为KV缓存的缓存。在此阶段，性能受内存带宽的限制可能大于处理能力。新解决方案减少了这一瓶颈。将内存置于处理器附近还能以更少能量传输数据。D-Matrix表示，Raptor中的内存连接每比特能耗比HBM4低约5至8倍。然而，Raptor超过100 TB/s的速度仍带来高功耗成本。系统仅用于与内存交换数据就消耗约296瓦功率。D-Matrix还表示，与Nvidia的Rubin R200 HBM4解决方案相比，Raptor在相同面积内提供约20倍的带宽，每带宽功耗低13.5倍。然而，将DRAM置于高功率处理器如此近的位置会带来热量、内存刷新和可靠性问题。此外，32 GB容量与基于HBM的AI加速器相比仍相当低。为克服这些问题，D-Matrix使用更快的刷新、ECC纠错和冗余内存库。Raptor尚不是商业产品。在Hot Chips 2026演示中，分享了计划中商业加速器的特性和目标技术值。该公司此前已通过名为Pavehawk的3D-DRAM测试芯片演示了该技术的基础结构。这表明该技术不仅仅是概念。