تفاصيل مستودع GitHub حول كيفية تشغيل DeepSeek V4 Flash على AMD MI300X واحد

نقطة التحقق ذات 304 مليار معلمة تعمل دون تكميم إضافي أو تفريغ. تتيح ذاكرة HBM3 بسعة 192 جيجابايت وعرض نطاق 5.3 تيرابايت/ثانية في MI300X النشر على وحدة معالجة رسومية واحدة، بسعر يقارب نصف السعر المعلن لـ H100 SXM5. تعالج الإصلاحات الرئيسية عدم توافق تنسيق FP8، وأخطاء توجيه MoE، وأشكال النواة. تستخدم الحزمة إصدارًا ليليًا من vLLM RO Cm مثبتًا بالهضم و AITER 0.1.19. يصل التعبئة المسبقة غير المخزنة إلى 7.9–8.5 ألف رمز/ثانية حسب ميزانية المجدول؛ ملف الإنتاج بميزانية 2048 رمزًا يوفر 6,988–7,019 رمزًا/ثانية.

يستغرق الاسترجاع الساخن لـ 380 ألف رمز مخزن 0.64–2.65 ثانية بعد تعبئة مسبقة باردة تبلغ 120–125 ثانية. المستودع مرخص بموجب Apache-2.0، والنموذج مرخص بموجب MIT.