D-matrix Desarrolla Una Nueva Arquitectura De Memoria Que Podría Ser Alternativa Al HBM En Procesadores De IA

D-Matrix ha desarrollado una nueva arquitectura de memoria que podría servir como alternativa al HBM en procesadores de IA. El diseño Raptor de la compañía ofrece un ancho de banda mucho mayor a cambio de menos capacidad de memoria. D-Matrix, centrada en aumentar la velocidad de acceso a memoria en procesadores de IA, presentó la nueva arquitectura de acelerador en el evento Hot Chips 2026. A diferencia del enfoque tradicional de HBM, la compañía coloca los chips DRAM directamente debajo de la lógica del procesador en lugar de a su lado.

En Raptor, un chip lógico fabricado con el proceso N4 de TSMC se coloca sobre DRAM especialmente diseñado. Esta estructura acorta significativamente la conexión entre procesador y memoria. D-Matrix afirma que esto puede proporcionar mayor ancho de banda y menor consumo de energía en transferencia de datos.

El diseño Raptor 3D-DRAM ofrece 32 GB de capacidad de memoria y más de 100 TB/s de ancho de banda. Según la comparación de D-Matrix, una configuración con 192 GB de HBM4 puede alcanzar unos 18 TB/s de ancho de banda. Por tanto, el área destacada de Raptor es su capacidad de transferencia de datos.

Mientras HBM puede contener cantidades mucho mayores de datos, el enfoque 3D-DRAM de D-Matrix busca proporcionar acceso mucho más rápido a un conjunto de datos más pequeño. La compañía desarrolla esta arquitectura específicamente para cargas de trabajo de IA, no para tarjetas gráficas de juegos. Una de las razones principales es la intensa demanda de acceso a memoria durante la fase de inferencia de los grandes modelos de lenguaje.

Cada vez que un modelo de lenguaje genera un nuevo token, debe acceder repetidamente a los datos del modelo y a la caché conocida como caché KV. En esta etapa, el rendimiento puede estar limitado más por el ancho de banda de memoria que por la potencia de procesamiento. La nueva solución reduce este cuello de botella.

Colocar la memoria muy cerca del procesador también permite transferir datos con menos energía. D-Matrix dice que la conexión de memoria en Raptor consume entre 5 y 8 veces menos energía por bit en comparación con HBM4. Sin embargo, la velocidad superior a 100 TB/s lograda por Raptor aún conlleva un alto costo de energía. El sistema consume unos 296 W de potencia solo para el intercambio de datos con la memoria.

D-Matrix también afirma que Raptor ofrece unas 20 veces más ancho de banda en la misma área en comparación con la solución HBM4 Rubin R200 de Nvidia y consume 13,5 veces menos potencia por ancho de banda. Sin embargo, colocar DRAM tan cerca de un procesador de alta potencia trae problemas de calor, refresco de memoria y fiabilidad. Además, la capacidad de 32 GB sigue siendo bastante baja en comparación con los aceleradores de IA basados en HBM.

Para superar estos problemas, D-Matrix utiliza refresco más rápido, corrección de errores ECC y bancos de memoria redundantes. Raptor aún no es un producto comercial. En la presentación de Hot Chips 2026 se compartieron las características del acelerador comercial planificado y los valores técnicos objetivo.

La compañía había demostrado previamente la estructura subyacente de la tecnología con un chip de prueba 3D-DRAM llamado Pavehawk. Esto indica que la tecnología no es solo un concepto.