Repositório No Github Detalha Como Executar Deepseek V4 Flash Em Uma Única AMD Mi300x

O checkpoint de 304B parâmetros roda sem quantização extra ou offload. A MI300X, com 192 GB de HBM3 e largura de banda de 5,3 TB/s, permite implantação em GPU única, com aproximadamente metade do preço de lista de uma H100 SXM5. Correções-chave abordam incompatibilidades de formato FP8, bugs de roteamento MoE e formas de kernel. A pilha usa um vLLM RO Cm noturno com digest fixado e AITER 0.1.19. Prefill sem cache atinge 7,9–8,5K tok/s dependendo do orçamento do agendador; perfil de produção com orçamento de 2.048 tokens entrega 6.988–7.019 tok/s. Recuperação quente de 380K tokens em cache leva 0,64–2,65 s após prefill frio de 120–125 s. O repositório é licenciado sob Apache-2.0, com o modelo sob licença MIT.