D-Matrix、AIプロセッサでHBMに代わる新メモリ構造「Raptor」を開発

D-Matrixは、AIプロセッサにおいてHBMの代替となり得る新しいメモリ構造を開発した。同社のRaptor設計は、メモリ容量を抑える代わりに、はるかに高い帯域幅を提供する。AIプロセッサのメモリアクセス速度向上に注力するD-Matrixは、Hot Chips 2026イベントで新しいアクセラレータ構造を発表した。従来のHBM方式とは異なり、同社はDRAMチップをプロセッサの横ではなく、ロジックの直下に配置する。Raptorでは、TSMCのN4プロセスで製造されたロジックチップが、特別に設計されたDRAMの上に置かれる。この構造により、プロセッサとメモリ間の接続が大幅に短縮される。D-Matrixによると、これにより高い帯域幅と低いデータ転送電力が実現できるという。Raptor 3D-DRAM設計は、32GBのメモリ容量と100TB/s超の帯域幅を提供する。D-Matrixの比較によると、192GBのHBM4を使用する構成では約18TB/sの帯域幅に達する。したがって、Raptorの主な強みはデータ転送容量にある。HBMははるかに大量のデータを保持できる一方、D-Matrixの3D-DRAMアプローチは、より小さなデータプールへのより高速なアクセスを目指す。同社はこの構造をゲーミング向けグラフィックスカードではなく、AIワークロード向けに開発している。主な理由の一つは、大規模言語モデルの推論フェーズにおける集中的なメモリアクセス需要だ。言語モデルが新しいトークンを生成するたびに、モデルデータとKVキャッシュと呼ばれるキャッシュに繰り返しアクセスする必要がある。この段階では、処理能力よりもメモリ帯域幅によって性能が制限されることがある。新しいソリューションはこのボトルネックを軽減する。メモリをプロセッサの非常に近くに配置することで、データをより少ないエネルギーで転送することも可能になる。D-Matrixによると、Raptorのメモリ接続はHBM4と比較してビットあたり約5〜8倍少ないエネルギーを消費する。ただし、Raptorが達成する100TB/s超の速度は依然として高い電力コストを伴う。システムはメモリとのデータ交換だけで約296Wの電力を消費する。D-Matrixはまた、RaptorがNvidiaのRubin R200 HBM4ソリューションと比較して同じ面積で約20倍の帯域幅を提供し、帯域幅あたりの消費電力が13.5倍少ないと述べている。しかし、DRAMを高出力プロセッサのこのように近くに配置すると、熱、メモリリフレッシュ、信頼性の問題が生じる。さらに、32GBの容量はHBMベースのAIアクセラレータと比較してかなり低い。これらの問題を克服するため、D-Matrixはより高速なリフレッシュ、ECCエラー訂正、冗長メモリバンクを使用している。Raptorはまだ商用製品ではない。Hot Chips 2026のプレゼンテーションでは、計画中の商用アクセラレータの機能と目標技術値が共有された。同社は以前、Pavehawkと呼ばれる3D-DRAMテストチップで技術の基盤構造が動作することを実証していた。これは、この技術が単なるコンセプトではないことを示している。