Détails Du Dépôt Github Sur L'exécution de Deepseek V4 Flash Sur Un Seul AMD Mi300x

Le point de contrôle de 304B paramètres s'exécute sans quantification supplémentaire ni déchargement. Les 192 Go de HBM3 et la bande passante de 5,3 To/s du MI300X permettent un déploiement sur une seule GPU, avec environ la moitié du prix catalogue d'un H100 SXM5. Les correctifs clés résolvent les incompatibilités de format FP8, les bogues de routage MoE et les formes de noyau. La pile utilise une version nocturne de vLLM RO Cm épinglée par digest et AITER 0.1.19. Le préremplissage non mis en cache atteint 7,9 à 8,5K tok/s selon le budget du planificateur; le profil de production avec un budget de 2 048 jetons fournit 6 988 à 7 019 tok/s. La récupération à chaud de 380K jetons en cache prend 0,64 à 2,65 s après un préremplissage à froid de 120 à 125 s. Le dépôt est sous licence Apache-2.0, et le modèle sous licence MIT.