304B पैरामीटर चेकपॉइंट बिना अतिरिक्त क्वांटाइज़ेशन या ऑफलोड के चलता है। MI300X का 192 GB HBM3 और 5.3 TB/s बैंडविड्थ एकल GPU तैनाती सक्षम करता है, जो H100 SXM5 की सूची मूल्य का लगभग आधा है। मुख्य सुधार FP8 प्रारूप असंगतता, MoE रूटिंग बग और कर्नेल आकार को संबोधित करते हैं। स्टैक डाइजेस्ट-पिन किए गए vLLM RO Cm नाइटली और AITER 0.1.19 का उपयोग करता है। अनकैश्ड प्रीफिल शेड्यूलर बजट के आधार पर 7.9–8.5K tok/s तक पहुंचता है; 2,048-टोकन बजट के साथ उत्पादन प्रोफ़ाइल 6,988–7,019 tok/s देता है। 380K कैश किए गए टोकन की गर्म पुनर्प्राप्ति 120–125 सेकंड ठंडे प्रीफिल के बाद 0.64–2.65 सेकंड लेती है। रिपॉजिटरी Apache-2.0 लाइसेंस प्राप्त है, मॉडल MIT-लाइसेंस प्राप्त है।
