304B پیرامیٹر کا چیک پوائنٹ اضافی کوانٹائزیشن یا آف لوڈ کے بغیر چلتا ہے۔ MI300X کا 192 GB HBM3 اور 5.3 TB/s بینڈوتھ سنگل GPU تعیناتی کو ممکن بناتا ہے، جس کی فہرست قیمت H100 SXM5 کے تقریباً نصف ہے۔ اہم اصلاحات FP8 فارمیٹ کی عدم مطابقت، MoE روٹنگ کی خرابیوں اور کرنل شکلوں کو حل کرتی ہیں۔ اسٹیک میں ڈائجسٹ پنڈ vLLM RO Cm نائٹلی اور AITER 0.1.19 استعمال ہوتا ہے۔ غیر کیشڈ پری فل شیڈیولر بجٹ کے لحاظ سے 7.9–8.5K ٹوکن/سیکنڈ تک پہنچتا ہے؛ 2,048 ٹوکن بجٹ والا پروڈکشن پروفائل 6,988–7,019 ٹوکن/سیکنڈ دیتا ہے۔ 380K کیشڈ ٹوکنز کی گرم بازیافت 120–125 سیکنڈ کے سرد پری فل کے بعد 0.64–2.65 سیکنڈ لیتی ہے۔ ریپوزٹری Apache-2.0 لائسنس یافتہ ہے، ماڈل MIT لائسنس کے تحت ہے۔
