Решение по задаче
Подберём сервер под ваш способ обучения: LoRA на одной-двух картах, дообучение крупной модели на четырёх или полное обучение на узле из восьми ускорителей с общей шиной NVLink.
Коротко
Когда одна модель обучается сразу на нескольких ускорителях, они постоянно обмениваются данными. Без шины NVLink обмен идёт через PCIe, и карты простаивают в ожидании.
LoRA-дообучение небольшой модели не использует общую шину восьми ускорителей. Для такой задачи хватает одной-двух карт по 96 ГБ, а узел HGX преимущества не даёт.
Контрольные точки модели пишутся на диск регулярно, датасет читается постоянно. Медленное хранилище и сеть между узлами держат дорогие ускорители недогруженными.
Схема читается сверху вниз: приложение обращается к модели, модель работает на сервере, сервер стоит на площадке. Слабое место в любом слое ограничивает остальные.
Для обучения важен не только объём памяти ускорителя, но и скорость обмена между ускорителями, дисками и узлами. Поэтому сеть и хранилище считают вместе с сервером.
Какой ускоритель, сколько их и какой сервер каталога взять на каждой ступени.
| Масштаб | Ускоритель | Количество | Сервер в каталоге | Питание | Что на этом работает | Действие |
|---|---|---|---|---|---|---|
| ПилотЭксперименты, LoRA и QLoRA небольших моделей | RTX PRO 6000 Blackwell, 96 ГБ | 1–2 в узле | 1–2 × RTX PRO 6000 · башня Серверы на RTX PRO 6000Рабочие станции | до 600 Вт на ускоритель | Дообучение адаптеров на одной-двух картах: общая шина между ускорителями для этого не нужна. | Запросить КП |
| ОтделLoRA и QLoRA крупных моделей, которым мало 96 ГБ | H200 NVL, 141 ГБ | 4 в узле, мост NVLink на 4 карты | 4 × H200 NVL · 2 × CPU · 4U Серверы на H200Аксессуары | до 600 Вт на ускоритель, до 2,4 кВт на четыре | Мост NVLink связывает две или четыре карты со скоростью 900 ГБ/с на ускоритель. | Запросить КП |
| КомпанияПолное дообучение и обучение на больших датасетах | H200, B200 или B300 на плате HGX | 8 в узле; кластер — несколько узлов | 8 × B200 · 2 × CPU · 10U Узлы HGXСеть 400/800G | 8 × H200 — площадка 15 кВт (у системы NVIDIA DGX — до 10,2 кВт); 8 × B200 — до 14,3 кВт; 8 × B300 — типично 14,5 кВт, до 16,4 кВт в пике | Восемь ускорителей на шине NVLink: 900 ГБ/с на ускоритель у H200 и 1,8 ТБ/с у B200 и B300. | Запросить КП |
Сколько ускорителей и сколько времени займёт ваш прогон, в таблице нет: это зависит от размера модели, датасета и способа обучения и рассчитывается по вашим данным — в калькуляторе «Дообучение: LoRA, QLoRA или полное».
Важное ограничение B300: вычисления двойной точности (FP64) у него урезаны — 10 TFLOPS на восемь ускорителей против 296 у узла на B200. Для научных расчётов двойной точности подходят H200 и B200.
Из ускорителей каталога RTX PRO 6000 нужно меньше всего карт.
Память — по опубликованной оценочной таблице проекта LLaMA-Factory; длинные примеры и большой батч требуют больше. Время обучения и другие способы — в полном расчёте.
Ещё по теме
По одной позиции на каждую ступень. Остальные — в классах каталога.
Рабочие станции
Модели до 122 млрд параметров в 8 битах
Серверы на H200
Модели до 405 млрд параметров в 8 битах
Узлы HGX
Модели до 1 трлн параметров в 8 битах
Узел на восемь H100 потребляет до 10,2 кВт, на B200 — до 14,3 кВт, на B300 — типично 14,5 кВт, до 16,4 кВт в пике. Нужны две независимые линии питания.
Узлы HGX на B300 высотой 8–10U охлаждаются воздухом; у сверенных моделей верхняя граница температуры воздуха на входе — 30 или 35 °C. Жидкостные исполнения — отдельные модели шасси.
Кластеру нужны коммутаторы и адаптеры 400 или 800 Гбит/с — InfiniBand или Ethernet. В плату HGX B300 встроены восемь портов 800 Гбит/с.
Под контрольные точки нужны быстрые NVMe-диски в узле, под датасеты — общее хранилище с сетью, которая не станет узким местом.
Можно взять только нужное.
Для LoRA, QLoRA и небольших моделей — да. Если одна модель обучается сразу на четырёх-восьми ускорителях, нужен NVLink: через PCIe обмен между картами становится узким местом.
HGX — плата NVIDIA с восемью ускорителями и общей шиной, которую производители серверов ставят в свои шасси с выбором процессоров, памяти и дисков. DGX — готовая система NVIDIA с фиксированным составом.
У B300 на 50 % больше памяти на ускоритель и на 50 % выше производительность в формате FP4. В форматах FP8 и BF16, в которых обычно обучают, оба ускорителя на одном уровне.
Выигрыш B300 в обучении — память и встроенная сеть 800 Гбит/с.
По документации производителей: восемь H100 — до 10,2 кВт, восемь B200 — до 14,3 кВт, восемь B300 — типично 14,5 кВт, до 16,4 кВт в пике.
Стойку считайте в калькуляторе «Питание, тепло и стойка».
Да, узлы HGX высотой 8–10U рассчитаны на воздух. Воздухом охлаждают стойку примерно до 35–40 кВт; выше нужна жидкость.
Проверкой обмена между ускорителями и нагрузкой перед отгрузкой.
Нагрузочный тест по согласованному протоколу — услуга по договору; состав описан на странице «Сборка и нагрузочный тест».
По договору: операционная система, драйверы, CUDA и среда обучения по вашему списку. Лицензируемое ПО указывается в спецификации отдельными строками.
Опишите задачу в паре фраз — инженер подберёт конфигурацию. Ответим в рабочее время.
Пн–Пт 9:00–18:00 мск
Форма работает при включённом JavaScript. Напишите на gpu@vistlan.ru или позвоните: +7 (495) 638-50-58.
Дата проверки: 06.10.2026.
Проверяйте важное у инженера
Отвечает программа. Не пишите персональные данные; контакты — только в форме.
Политика обработкиКонтакты оставляйте в форме: в чат их писать не нужно. Перед отправкой я заменю их меткой.