Вопросы и ответы о GPU-серверах для ИИ

Начните с задачи или с модели. Подбор за шесть вопросов предложит два-три сервера из каталога, а калькулятор памяти покажет, сколько карт нужно вашей модели. Расчёт можно отправить инженеру на проверку.

В узле HGX восемь ускорителей стоят на одной плате и связаны шиной NVLink. В сервере PCIe карты стоят в отдельных слотах — без общей шины или с мостом на две-четыре карты.

От этого зависят и задачи, и требования к площадке.

SXM — модуль ускорителя для платы HGX: у H100 и H200 — платы на четыре или восемь ускорителей, у B200 и B300 — на восемь; в обычный слот сервера он не ставится.

PCIe — обычная карта расширения: её ставят в сервер 2U или 4U, по одной и больше.

HGX — плата с ускорителями SXM (у H100 и H200 — на четыре или восемь, у B200 и B300 — на восемь), на которой производители серверов строят свои узлы. DGX — готовая система NVIDIA на такой плате.

Потребление у них может различаться: у системы NVIDIA DGX на восьми H200 — до 10,2 кВт, у узла с теми же ускорителями по опубликованному опыту российского провайдера — до 15 кВт.

RTX PRO 6000 (96 ГБ) берут под модели до 30 млрд параметров на карту, под 4-битные форматы и под закрытый контур с небольшим числом пользователей.

H200 (141 ГБ) — когда модель 70 млрд параметров должна поместиться на одну карту или нужен длинный контекст. Узел HGX — когда одна крупная модель делится между восемью ускорителями.

Зависит от загрузки: чем больше часов в сутки занят ускоритель, тем раньше покупка становится выгоднее. Довод за свой сервер, не связанный с деньгами, — данные остаются в вашем контуре.

Сравните варианты в калькуляторе «Купить или арендовать».

Несколько пользователей и пилот — станция. Десятки одновременных запросов, обучение и круглосуточная работа — сервер в стойке. Число пользователей под вашу модель считает калькулятор «Сколько пользователей выдержит».

В 8 битах такой модели с контекстом и запасом нужно около 88 ГБ: это одна карта RTX PRO 6000 на 96 ГБ впритык или одна H200 на 141 ГБ с запасом. В 16 битах нужно около 173 ГБ — две карты.

Веса — это число параметров, умноженное на байты на параметр: 2 байта в FP16, 1 — в FP8, 0,5 — в 4-битных форматах. К весам добавляют память под контекст (KV-кэш) и запас 20 %.

Модель 70 млрд параметров — около 140 ГБ в FP16 и около 70 ГБ в FP8. Точный расчёт — в калькуляторе «Память GPU под модель».

Зависит от длины запросов, точности модели и нужной скорости ответа.

Число карт под ваших пользователей считает калькулятор «Сколько пользователей выдержит»: он показывает диапазон и помечает результат как черновую оценку.

Это точность хранения весов модели. Чем меньше бит, тем меньше памяти нужно модели, но ответы могут стать менее точными. Формат NVFP4 поддерживают только ускорители поколения Blackwell.

Пока модель отвечает, она хранит для каждого токена запроса промежуточные данные внимания — ключи и значения (KV-кэш). Чем длиннее запрос и чем больше запросов идёт одновременно, тем больше памяти уходит на кэш.

Сверх весов и KV-кэша память занимают сам движок и служебные буферы. Запас 20 % — оценка из руководства Hugging Face по расчёту размера модели; так же считают калькуляторы сайта.

Это модель со смесью экспертов: на каждый токен работает часть параметров, но в памяти должны лежать все веса. Поэтому объём памяти считают по полному числу параметров — 684,49 млрд.

По памяти — да, в FP8 и с коротким контекстом: один запрос на 8 тысяч токенов занимает 87,9 ГБ из 141 ГБ (62 %). Запрос на 128 тысяч токенов занимает 136,2 ГБ (97 %) — это «впритык», запаса на второй запрос уже нет.

Памяти больше на 76 %, полоса памяти шире на 43 %; вычислительные характеристики версий SXM совпадают.

Памяти на ускоритель больше в полтора раза, в 4-битном формате он быстрее в полтора раза, а сеть 800 Гбит/с встроена в плату узла. В 8 и 16 битах ускорители равны.

У B200 памяти 180 ГБ на ускоритель против 141 ГБ, полоса памяти 8 ТБ/с против 4,8 ТБ/с и шина NVLink вдвое быстрее. H200 берут под уже написанную спецификацию и отработанное программное окружение.

У H200 памяти в полтора раза больше и полоса шире втрое. RTX PRO 6000 берут для инференса моделей, которые помещаются в одну-две карты.

У RTX PRO 6000 памяти вдвое больше — 96 ГБ против 48 ГБ — и есть 4-битный формат NVFP4. L40S берут под готовую спецификацию и для расширения парка.

Память одинаковая — 80 ГБ. У H100 SXM полоса памяти 3,35 ТБ/с против 2,04 ТБ/с, шина NVLink 900 ГБ/с против 600 ГБ/с и есть формат FP8. Мощность модуля H100 SXM — 700 Вт, A100 SXM — 400 Вт.

NVIDIA и часть производителей серверов указывают 288 ГБ на ускоритель, часть — 270 ГБ; в расчётах берём 270 ГБ.

NVL — двухслотовая карта PCIe до 600 Вт; две или четыре карты объединяются мостом. SXM — модуль платы HGX (платы на четыре или восемь ускорителей; в каталоге — узел на восемь), до 700 Вт.

Для узла на B300 закладывайте типично 14,5 кВт и до 16,4 кВт в пике, для узла на B200 — до 14,3 кВт. Это ориентиры по документации систем на тех же платах. Нужны два независимых ввода и стойка высокой плотности.

Да. Узлы HGX на B300 у производителей серверов — воздушные, высотой 8–10U; у сверенных моделей верхняя граница температуры воздуха на входе — 30 или 35 °C. Жидкостные исполнения — другие модели шасси.

Узел с восемью H100 потребляет до 10,2 кВт, с B200 — до 14,3 кВт, с B300 — типично 14,5 кВт, до 16,4 кВт в пике. Обычные залы рассчитаны на 5–8 кВт на стойку.

Проверьте свою площадку в инструменте «Готова ли серверная».

Автоматы, линии и охлаждение должны выдержать худший момент работы, а не среднее.

Пик узла — 16,4 кВт по спецификации сервера другого производителя на той же плате; типичное значение — 14,5 кВт по руководству NVIDIA к DGX B300.

Два независимых ввода и линии под блоки питания сервера. У версии на AMD EPYC — шесть блоков по 6 600 Вт с резервированием 3+3; у версии на Intel Xeon конфигурация блоков питания уточняется при заказе.

PUE — отношение всей мощности площадки к мощности ИТ-оборудования. Он показывает, сколько ещё уходит на охлаждение и потери.

В калькуляторе по умолчанию 1,54 — значение из ежегодного опроса Uptime Institute 2025 года; подставьте показатель своей площадки.

Состояние и комплектность указываем в КП по каждой позиции; у конфигураций из раздела «В наличии у партнёров» состояние уточняется при запросе.

Состояние можно подтвердить нагрузочным тестом по согласованному протоколу — это услуга по договору.

Оборудование есть у партнёра за пределами России. Поставка в РФ идёт с таможенным оформлением и полным пакетом документов: декларация на товары, документы о подтверждении соответствия. Срок уточняется при запросе.

Позиция есть у дистрибьютора в России на дату обновления статуса. Срок доставки уточняется при запросе: он зависит от резерва, сборки и доставки до площадки.

Гарантию и сервисную поддержку предоставляет ООО «ВИСТЛАН» на условиях договора: срок и порядок замены фиксируются в спецификации. Гарантийные обязательства производителя на территории РФ могут не действовать.

На рынке встречаются карты PCIe, собранные из чипов модулей SXM. По опубликованному тесту их выдают потребление до 700 Вт вместо 350–400 Вт и низкая скорость обмена между картами.

Проверка этих параметров входит в нагрузочный тест по договору.

Нагрузочный тест по согласованному протоколу — отдельная услуга по договору: сервер проверяют под нагрузкой до отгрузки, результат оформляют протоколом.

Что входит — на странице «Сборка и нагрузочный тест».

Да: RTX PRO 6000, H200 NVL с мостами NVLink и L40S поставляются отдельными позициями — с документами о подтверждении соответствия и паспортом.

Для значимых объектов КИИ действует запрет на использование программно-аппаратных комплексов, приобретённых с 1 сентября 2024 года и не являющихся доверенными.

Исключение — отсутствие произведённых в России доверенных аналогов, которое подтверждается заключением Минпромторга (п. 2 постановления № 1912; постановление № 1135).

Категорию объекта уточняют на старте; правовую оценку даёт ваш юрист.

Да. Серверы включены в приложение № 2 к постановлению № 1875: это ограничение, а не запрет.

Заявка с иностранным сервером отклоняется, только если подана и признана соответствующей заявка с товаром российского происхождения.

Российский сервер из реестра с ускорителями NVIDIA внутри — товар российского происхождения при наличии номера реестровой записи.

Сертифицированное средство доверенной загрузки закладывается в конфигурацию реестровой платформы; номер сертификата указывается в спецификации.

Через характеристики: объём видеопамяти не менее 140 ГБ, тип HBM3e, объединение графических контроллеров в одну систему — да.

Полосу памяти (не менее 4,5 ТБ/с) и производительность добавляют только в закупках по 223-ФЗ и коммерческих: по 44-ФЗ при закупке с ограничением характеристики сверх позиции каталога не указывают.

По 223-ФЗ срок оплаты — не более семи рабочих дней с даты приёмки, если иной срок не установлен положением о закупке заказчика (ч. 5.3 ст. 3 223-ФЗ).

Срок зависит от класса платформы и наличия на дату запроса. Ориентир для документации даём по запросу; в ТЗ стоит закладывать срок, достижимый для выбранного класса.

При полном дообучении меняются все веса модели, и для каждого параметра хранятся градиент и состояние оптимизатора.

LoRA замораживает веса в 16 битах и учит небольшую добавку, поэтому памяти нужно в несколько раз меньше.

QLoRA делает то же, но базовые веса хранит в 8, 4 или 2 битах: это ещё меньше памяти, но качество стоит проверить на своих данных.

LoRA — по памяти да: оценка 160 ГБ против 768 ГБ в сервере, даже верхняя граница 240 ГБ помещается.

Полное дообучение — нет: 1 200 ГБ больше, чем 768 ГБ. Но память — необходимое условие, а не достаточное: у RTX PRO 6000 нет NVLink, и данные между картами идут через PCIe.

Скорость такого обучения расчёт памяти не оценивает.

У B300 на 50 % больше памяти на ускоритель и на 50 % выше производительность в формате FP4. В форматах FP8 и BF16, в которых обычно обучают, оба ускорителя на одном уровне.

Выигрыш B300 в обучении — память и встроенная сеть 800 Гбит/с.

Если модель помещается в память одной карты — нет: копии модели работают на картах независимо. Если модель делится между несколькими ускорителями, без NVLink обмен идёт через PCIe и скорость падает.

Для небольшого архива эмбеддинги считаются на процессоре или на той же карте в фоне. Если документы обновляются часто, под индексацию выделяют отдельную карту — иначе она замедляет ответы пользователям.

Сервер ставится без выхода в интернет, контроллер управления выносится в изолированный сегмент, диски с моделями и документами шифруются. Данные остаются в вашей инфраструктуре.

Состав мер — на странице «Защита BMC и дисков».

Зависит от профиля пользователя и режима деления ускорителя. Оценку под ваши профили даёт калькулятор «VDI и vGPU: рабочие места».

Зависит от кодека, разрешения, частоты кадров и числа моделей в конвейере. Оценку под ваши параметры даёт калькулятор «Видеоаналитика: камеры на GPU».