304Bパラメータのチェックポイントは、追加の量子化やオフロードなしで動作します。MI300Xの192GB HBM3と5.3TB/sの帯域幅により、単一GPUでの展開が可能で、H100 SXM5のリスト価格の約半分です。主要な修正は、FP8フォーマットの非互換性、MoEルーティングのバグ、カーネル形状に対応します。スタックは、ダイジェスト固定のvLLM RO CmナイトリーとAITER 0.1.19を使用します。キャッシュなしのプリフィルは、スケジューラ予算に応じて7.9〜8.5Kトークン/秒に達します。2,048トークン予算の本番プロファイルは6,988〜7,019トークン/秒を提供します。380Kキャッシュトークンのウォームリコールは、120〜125秒のコールドプリフィル後、0.64〜2.65秒かかります。リポジトリはApache-2.0ライセンスで、モデルはMITライセンスです。
