Пользователю удалось запустить 27B языковых моделей, превратив видеокарту NVIDIA Tesla V100 в игровой компьютер

Пользователю удалось запустить 27B языковых моделей, превратив видеокарту NVIDIA Tesla V100 в игровой компьютер. Подробности в наших новостях. Для запуска высококачественных языковых моделей требуется, чтобы видеокарта имела большой объем видеопамяти (VRAM).

Владелец RTX 4080 понял, что его система, на которой легко можно играть в современные игры, недостаточна для больших языковых моделей (LLM), и сделал интересную модификацию. Пользователю удалось добиться как игровой производительности, так и производительности искусственного интеллекта, интегрировав видеокарту NVIDIA Tesla V100 в свой игровой компьютер. Технические трудности, возникшие в этом процессе, были преодолены с помощью специальных адаптеров и решений для охлаждения.

Для подключения платы Tesla V100 к стандартной материнской плате для настольных ПК потребовалось использование адаптера-преобразователя SXM2-PCIe. Эта установка, общая стоимость которой составила около 266 долларов США, позволила включить в систему карту с памятью HBM2 объемом 16 ГБ. Tesla V100 выделяется своими 5120 ядрами CUDA и 4096-битной шиной, обеспечивающей пропускную способность 900 ГБ/с. Отсутствие видеовыхода или стандартного подключения питания PCIe на карте потребовало от моддера дополнительных усилий на этапе установки.

Высокий уровень шума системы охлаждения в 82 дБ контролировался с помощью батареи 9 В и перемычки ШИМ. Скорость вентилятора была снижена до 10 процентов от исходного максимального значения, что обеспечило более тихую работу системы. Общий объем видеопамяти объемом 32 ГБ, добавленный в систему, обеспечил необходимое пространство для запуска таких моделей, как Qwen3.6 27B. Модель, занимающая 19 ГБ на уровне квантования Q5_K_M, может работать со скоростью 32 токена в секунду с размером контекста 128 тыс. токенов.

Скорость обработки транзакций варьируется от 133 до 160 токенов в секунду. Эта установка предлагает локальную рабочую среду искусственного интеллекта, не требующую подключения к Интернету, по цене менее 300 долларов США.