Detalles Del Repositorio de Github Sobre Cómo Ejecutar Deepseek V4 Flash En Un Solo AMD Mi300x

El punto de control de 304B parámetros se ejecuta sin cuantización adicional ni descarga. Los 192 GB de HBM3 y el ancho de banda de 5.3 TB/s del MI300X permiten el despliegue en una sola GPU, con aproximadamente la mitad del precio de lista de un H100 SXM5. Las correcciones clave abordan incompatibilidades de formato FP8, errores de enrutamiento MoE y formas de kernel. La pila utiliza una versión nocturna de vLLM RO Cm fijada por digest y AITER 0.1.19. El prefill sin caché alcanza 7.9–8.5K tok/s según el presupuesto del programador; el perfil de producción con un presupuesto de 2,048 tokens entrega 6,988–7,019 tok/s. La recuperación en caliente de 380K tokens en caché toma 0.64–2.65 s después de un prefill en frío de 120–125 s. El repositorio tiene licencia Apache-2.0, y el modelo tiene licencia MIT.