テクノロジー
ユーザーは、NVIDIA Tesla V100 グラフィックス カードをゲーム コンピューターに改造することで、27B 言語モデルを実行することに成功しました。
ユーザーは、NVIDIA Tesla V100 グラフィックス カードをゲーム コンピューターに改造することで、27B 言語モデルを実行することに成功しました。詳細はニュースでお知らせします。高品質の言語モデルを実行するには、グラフィック カードに大容量のビデオ メモリ (VRAM) が必要です。 RTX 4080 の所有者は、最新のゲームを簡単にプレイできるシステムでは大規模言語モデル (LLM) には不十分であることに気づき、興味深い変更を加えました。ユーザーは、NVIDIA Tesla V100 グラフィックス カードをゲーム コンピューターに統合することで、ゲームと人工知能のパフォーマンスの両方を達成することができました。このプロセスで遭遇した技術的問題は、特別なアダプターと冷却ソリューションによって克服されました。 Tesla V100 ボードを標準デスクトップ マザーボードに接続するには、SXM2-PC Ie コンバータ アダプタを使用する必要がありました。このインストールには合計約 266 ドルの費用がかかり、16 GB HBM2 メモリを備えたカードをシステムに組み込むことが可能になりました。 Tesla V100 は、5,120 の CUDA コアと 900GB/s の帯域幅を提供する 4,096 ビット バスで際立っています。 カードにビデオ出力や標準の PC Ie 電源接続がないため、改造者はインストール段階で追加の労力を必要としました。冷却システムによって生成される 82dB の高い騒音レベルは、9V バッテリーと PWM ジャンパーを使用して制御されました。ファン速度は元の最大値の 10% に低下し、システムのより静かな動作が確保されました。 システムに追加された合計 32GB の VRAM により、Qwen3.6 27B などのモデルを実行するのに必要なスペースが提供されました。このモデルは Q5_K_M 量子化レベルで 19GB を占有し、128K トークンのコンテキスト サイズで 1 秒あたり 32 トークンの速度で実行できます。トランザクション処理速度は、1 秒あたり 133 ～ 160 トークンの間で変化します。このセットアップでは、インターネット接続を必要としないローカル AI 作業環境を 300 ドル未満で提供します。.
出典: ShiftDelete
