Репозиторий GitHub описывает запуск DeepSeek V4 Flash на одном AMD MI300X

Контрольная точка с 304B параметрами работает без дополнительного квантования или выгрузки. MI300X с 192 ГБ HBM3 и пропускной способностью 5,3 ТБ/с обеспечивает развертывание на одной GPU, примерно вдвое дешевле по прейскуранту, чем H100 SXM5. Ключевые исправления касаются несовместимости формата FP8, ошибок маршрутизации MoE и форм ядра. Стек использует ночную сборку vLLM RO Cm с закрепленным дайджестом и AITER 0.1.19. Предзаполнение без кэша достигает 7,9–8,5 тыс. ток/с в зависимости от бюджета планировщика; производственный профиль с бюджетом 2048 токенов дает 6988–7019 ток/с. Теплое извлечение 380 тыс. кэшированных токенов занимает 0,64–2,65 с после холодного предзаполнения 120–125 с. Репозиторий лицензирован Apache-2.0, модель — MIT.