Repositori Github Merinci Cara Menjalankan Deepseek V4 Flash Pada Satu AMD Mi300x

Checkpoint 304B parameter berjalan tanpa kuantisasi tambahan atau offload. MI300X dengan HBM3 192 GB dan bandwidth 5,3 TB/s memungkinkan penerapan GPU tunggal, dengan harga daftar sekitar setengah dari H100 SXM5. Perbaikan kunci mengatasi ketidakcocokan format FP8, bug routing MoE, dan bentuk kernel. Tumpukan ini menggunakan vLLM RO Cm nightly dengan digest terikat dan AITER 0.1.19. Prefill tanpa cache mencapai 7,9–8,5K tok/s tergantung anggaran penjadwal; profil produksi dengan anggaran 2.048 token menghasilkan 6.988–7.019 tok/s. Pengambilan hangat 380K token cache memakan 0,64–2,65 detik setelah prefill dingin 120–125 detik. Repositori dilisensikan Apache-2.0, dengan model berlisensi MIT.

Sumber: Hacker News

Paling dibaca di kategori ini

DUNIA

SURAT KABAR MENGKLAIM BAHWA DEPARTEMEN PERTAHANAN AS TIDAK MEMBAGIKAN INFORMASI KEPADA PUBLIK TENTANG BEBERAPA SERANGAN IRAN BARU-BARU INI

DUNIA

MENGANCAM RAKSASA TEKNOLOGI DENGAN DENDA JUTAAN DOLAR KARENA "IKLAN MEMATIKAN"

DUNIA

AS MENYEBUTKAN DUA TENTARA TEWAS DI YORDANIA KETIKA KONFLIK IRAN MELUAS

DUNIA

DILAPORKAN YÜZDE 20 ORANG TEWAS, LEBIH DARI 80 ORANG LUKA-LUKA, DAN LEBIH DARI 100 ORANG HILANG AKIBAT HUJAN LEBAT DAN BANJIR BANDANG DI WILAYAH NURISTAN AFGHANISTAN.

DUNIA

KOMANDO PUSAT AS (CENTCOM) MENGUMUMKAN BAHWA MEREKA TELAH MENYELESAIKAN GELOMBANG SERANGAN KE-12 BERTURUT-TURUT YANG MEREKA

DUNIA

MENGAPA PERJANJIAN BERUSIA 90 TAHUN MEMBATASI NATO DI LAUT HITAM

DUNIA

CUACA PANAS BERGANTI DENGAN CUACA DINGIN: 10 DERAJAT AKAN TURUN SECARA TIBA-TIBA

DUNIA

Repositori Github Merinci Cara Menjalankan Deepseek V4 Flash Pada Satu AMD Mi300x

Paling dibaca di kategori ini

SURAT KABAR MENGKLAIM BAHWA DEPARTEMEN PERTAHANAN AS TIDAK MEMBAGIKAN INFORMASI KEPADA PUBLIK TENTANG BEBERAPA SERANGAN IRAN BARU-BARU INI

MENGANCAM RAKSASA TEKNOLOGI DENGAN DENDA JUTAAN DOLAR KARENA "IKLAN MEMATIKAN"

AS MENYEBUTKAN DUA TENTARA TEWAS DI YORDANIA KETIKA KONFLIK IRAN MELUAS

DILAPORKAN YÜZDE 20 ORANG TEWAS, LEBIH DARI 80 ORANG LUKA-LUKA, DAN LEBIH DARI 100 ORANG HILANG AKIBAT HUJAN LEBAT DAN BANJIR BANDANG DI WILAYAH NURISTAN AFGHANISTAN.

KOMANDO PUSAT AS (CENTCOM) MENGUMUMKAN BAHWA MEREKA TELAH MENYELESAIKAN GELOMBANG SERANGAN KE-12 BERTURUT-TURUT YANG MEREKA

MENGAPA PERJANJIAN BERUSIA 90 TAHUN MEMBATASI NATO DI LAUT HITAM

CUACA PANAS BERGANTI DENGAN CUACA DINGIN: 10 DERAJAT AKAN TURUN SECARA TIBA-TIBA

INI ADALAH SATELIT LAYANAN ROBOTIK TERCANGGIH DI DUNIA—YANG KITA KETAHUI

Repositori Github Merinci Cara Menjalankan Deepseek V4 Flash Pada Satu AMD Mi300x

Paling dibaca di kategori ini

SURAT KABAR MENGKLAIM BAHWA DEPARTEMEN PERTAHANAN AS TIDAK MEMBAGIKAN INFORMASI KEPADA PUBLIK TENTANG BEBERAPA SERANGAN IRAN BARU-BARU INI

MENGANCAM RAKSASA TEKNOLOGI DENGAN DENDA JUTAAN DOLAR KARENA "IKLAN MEMATIKAN"

AS MENYEBUTKAN DUA TENTARA TEWAS DI YORDANIA KETIKA KONFLIK IRAN MELUAS

DILAPORKAN YÜZDE 20 ORANG TEWAS, LEBIH DARI 80 ORANG LUKA-LUKA, DAN LEBIH DARI 100 ORANG HILANG AKIBAT HUJAN LEBAT DAN BANJIR BANDANG DI WILAYAH NURISTAN AFGHANISTAN.

KOMANDO PUSAT AS (CENTCOM) MENGUMUMKAN BAHWA MEREKA TELAH MENYELESAIKAN GELOMBANG SERANGAN KE-12 BERTURUT-TURUT YANG MEREKA

MENGAPA PERJANJIAN BERUSIA 90 TAHUN MEMBATASI NATO DI LAUT HITAM

CUACA PANAS BERGANTI DENGAN CUACA DINGIN: 10 DERAJAT AKAN TURUN SECARA TIBA-TIBA

INI ADALAH SATELIT LAYANAN ROBOTIK TERCANGGIH DI DUNIA—YANG KITA KETAHUI