Решение по задаче
Подберём и поставим сервер, на котором ваша модель отвечает нужному числу пользователей. Считаем память под веса и контекст, предлагаем две-три конфигурации, поставляем в России с документами.
Коротко
Память уходит не только на веса. Каждый токен контекста занимает место в KV-кэше, и так у каждого пользователя. Сервер, выбранный только по размеру модели, обслуживает меньше людей, чем планировали.
Общая шина NVLink нужна, когда одна модель делится между ускорителями. Если модель помещается на одну карту, её копии работают на независимых картах — и узел HGX для такой задачи избыточен.
Узел HGX на восемь ускорителей потребляет от 10 до 16 кВт. Обычные машинные залы проектировались под 5–8 кВт на стойку. Питание и охлаждение проверяют до заказа.
Схема читается сверху вниз: приложение обращается к модели, модель работает на сервере, сервер стоит на площадке. Слабое место в любом слое ограничивает остальные.
Мы поставляем слой «Сервер» и помогаем посчитать два соседних: какая модель на нём поместится и что он потребует от площадки.
Какой ускоритель, сколько их и какой сервер каталога взять на каждой ступени.
| Масштаб | Ускоритель | Количество | Сервер в каталоге | Питание | Что на этом работает | Действие |
|---|---|---|---|---|---|---|
| ПилотОдна команда, модель до 30 млрд параметров | RTX PRO 6000 Blackwell, 96 ГБ | 1–2 в узле | 2 × RTX PRO 6000 · 2 × CPU · 2U Серверы на RTX PRO 6000Рабочие станции | до 600 Вт на ускоритель | Модель 27–32 млрд параметров в FP8 занимает около 27–32 ГБ: помещается на одну карту с запасом под контекст. | Запросить КП |
| ОтделРабочая нагрузка отдела, модель около 70 млрд параметров | H200 NVL, 141 ГБ | 2–4 в узле, мост NVLink | 4 × H200 NVL · 2 × CPU · 4U Серверы на H200 | до 600 Вт на ускоритель, до 2,4 кВт на четыре | Модель 70 млрд параметров в FP8 — около 70 ГБ весов: работает на одной H200 без деления между картами. | Запросить КП |
| КомпанияКрупные модели и много одновременных запросов | B200, 180 ГБ, или B300, до 288 ГБ | 8 на плате HGX | 8 × B300 · 2 × EPYC · 8U Узлы HGX | до 14,3 кВт на узел с B200; с B300 — типично 14,5 кВт, до 16,4 кВт в пике | Модели, которые делятся между ускорителями: восемь карт связаны шиной NVLink и работают как одна. | Запросить КП |
Числа пользователей в таблице нет: оно зависит от длины контекста и нужной скорости ответа и рассчитывается по вашим данным — в калькуляторе «Сколько пользователей выдержит».
Калькулятор показывает диапазон и помечает результат как черновую оценку.
87,9 ГБ видеопамяти: веса 70,6 ГБ, кэш контекста 2,68 ГБ, запас 20 %
Один запрос одновременно; в рамке — оптимальная по памяти карта каталога. Ориентир по памяти, не по скорости. NVIDIA и часть производителей серверов указывают 288 ГБ на ускоритель, часть — 270 ГБ; в расчётах берём 270 ГБ.
Ещё по теме
По одной позиции на каждую ступень. Остальные — в классах каталога.
Серверы на RTX PRO 6000
Модели до 122 млрд параметров в 8 битах
Серверы на H200
Модели до 405 млрд параметров в 8 битах
Узлы HGX
Модели до 1 трлн параметров в 8 битах
Сервер с 2–4 ускорителями — это до 600 Вт на каждую карту плюс процессоры и диски. Узлу HGX на восемь ускорителей нужны от 10 до 16 кВт и две независимые линии питания.
Серверные ускорители охлаждаются потоком воздуха через шасси. В офисном корпусе без продува они перегреваются и снижают производительность — такой сервер ставят в стойку.
Узел HGX на B300 — это 8–10U, глубина около 950 мм и от 119 до 168 кг в зависимости от производителя. Нужна стойка глубиной от 1 200 мм; монтируют его вчетвером или подъёмником.
Сервер работает без выхода в интернет. Контроллер удалённого управления выносят в отдельный сегмент сети, диски с моделями шифруют.
Можно взять только нужное.
Зависит от длины контекста, точности модели и нужной скорости ответа.
Число карт под ваших пользователей считает калькулятор «Сколько пользователей выдержит»: он показывает диапазон и помечает результат как черновую оценку.
RTX PRO 6000 (96 ГБ) берут под модели до 30 млрд параметров на карту, под 4-битные форматы и под закрытый контур с небольшим числом пользователей.
H200 (141 ГБ) — когда модель 70 млрд параметров должна поместиться на одну карту или нужен длинный контекст. Узел HGX — когда одна крупная модель делится между восемью ускорителями.
Если модель помещается в память одной карты — нет: копии модели работают на картах независимо. Если модель делится между несколькими ускорителями, без NVLink обмен идёт через PCIe и скорость падает.
Веса — это число параметров, умноженное на байты на параметр: 2 байта в FP16, 1 — в FP8, 0,5 — в 4-битных форматах. К весам добавляют память под контекст (KV-кэш) и запас 20 %.
Модель 70 млрд параметров — около 140 ГБ в FP16 и около 70 ГБ в FP8. Точный расчёт — в калькуляторе «Память GPU под модель».
FP8 ближе к качеству исходной модели. 4-битные форматы вдвое экономят память и дают больше токенов в секунду, но часть качества теряется — насколько, зависит от модели и задачи.
Формат выбирают после проверки на своих запросах.
Узел с восемью H100 потребляет до 10,2 кВт, с B200 — до 14,3 кВт, с B300 — типично 14,5 кВт, до 16,4 кВт в пике. Обычные залы рассчитаны на 5–8 кВт на стойку.
Проверьте свою площадку в инструменте «Готова ли серверная».
Да. Для закупок с ограничением подбираем российскую платформу из реестра Минпромторга с ускорителями NVIDIA внутри. Порядок и документы — в разделе «Госзакупки».
Нагрузочный тест по согласованному протоколу — отдельная услуга по договору: сервер проверяют под нагрузкой до отгрузки, результат оформляют протоколом.
Что входит — на странице «Сборка и нагрузочный тест».
Опишите задачу в паре фраз — инженер подберёт конфигурацию. Ответим в рабочее время.
Пн–Пт 9:00–18:00 мск
Форма работает при включённом JavaScript. Напишите на gpu@vistlan.ru или позвоните: +7 (495) 638-50-58.
Дата проверки: 06.10.2026.
Проверяйте важное у инженера
Отвечает программа. Не пишите персональные данные; контакты — только в форме.
Политика обработкиКонтакты оставляйте в форме: в чат их писать не нужно. Перед отправкой я заменю их меткой.