Коротко
- Память GPU под модель = (веса + KV-кэш контекста) × 1,2: запас 20 % уходит на работу движка.
- Веса — параметры × байты на параметр. Пример: модель на 70 млрд параметров в FP8 — около 70 ГБ, с контекстом она помещается на одну H200 (141 ГБ).
- Число пользователей зависит от длины запросов и нужной скорости ответа; его считает калькулятор.
- Шина NVLink нужна, только когда одна модель делится между ускорителями.
- Узел HGX на восемь ускорителей потребляет от 10 до 16 кВт: площадку проверяют до заказа.
- на параметр модели в формате FP8
- 1 байт
- запас памяти сверх весов и контекста
- 20 %
- память H200: модель на 70 млрд в FP8 — на одной карте
- 141 ГБ
- потребляет узел HGX на восемь ускорителей
- 10–16 кВт
С чего начать расчёт: с модели или с ускорителя?
Вопрос «нужен сервер под модель на 70 млрд параметров, сколько карт?» без уточнений не имеет ответа. Сначала выясняют, что у вашей нагрузки закончится первым: память, скорость памяти или вычисления.
Для запуска языковых моделей первой обычно заканчивается память. Поэтому порядок такой: модель и её точность → длина контекста и число пользователей → класс ускорителя → площадка.
Сколько памяти нужно под веса модели?
Веса занимают число параметров, умноженное на байты на параметр: 2 байта в форматах FP16 и BF16, 1 байт в FP8, полбайта в 4-битных форматах.
| Размер модели | FP16 | FP8 | 4 бита | Что из этого следует |
|---|---|---|---|---|
| 8 млрд параметров | ≈ 16 ГБ | ≈ 8 ГБ | ≈ 4 ГБ | помещается на любую карту класса ЦОД; память уходит в контекст |
| 27–32 млрд | ≈ 54–64 ГБ | ≈ 27–32 ГБ | ≈ 14–16 ГБ | одна карта на 96 ГБ с запасом под контекст |
| 70 млрд | ≈ 140 ГБ | ≈ 70 ГБ | ≈ 35 ГБ | в FP8 — одна H200; в FP16 одни веса занимают H200 целиком — нужны две карты по 141 ГБ |
| 120 млрд | ≈ 240 ГБ | ≈ 120 ГБ | 60–80 ГБ | в FP8 — две RTX PRO 6000 (192 ГБ) |
К весам добавляют память под контекст и запас 20 % на работу движка — так же считает калькулятор.
Деталь, которую легко пропустить: модель на 70 млрд параметров в FP8 вместе с контекстом на одну H100 с её 80 ГБ не помещается. В таблице производительности NVIDIA эта модель на H100 стоит на двух картах, а на H200 с 141 ГБ — на одной.
Быстрый расчёт — в калькуляторе «Память GPU под модель»; для открытых языковых моделей память под веса, контекст и запас уже посчитана в таблице «Сколько видеопамяти нужно моделям ИИ».
Сколько памяти нужно под контекст и пользователей?
Пока модель отвечает, она хранит промежуточные данные по каждому токену контекста — это KV-кэш. Формула: байт на токен = 2 × число слоёв × число KV-голов × размерность головы × байт на число.
Пример: у модели Llama 3.1 8B в FP16 выходит 128 КиБ на токен, запрос в 2 000 токенов занимает 256 МБ. На H100 с её 80 ГБ после весов и накладных расходов остаётся около 52 ГБ. Сколько запросов поместится одновременно — это остаток памяти, делённый на память одного запроса: при контексте 8 тысяч токенов их вчетверо меньше, чем при 2 тысячах. Это предел по памяти, а не по скорости ответа.
Отсюда два вывода:
- длинный контекст «съедает» пользователей: вчетверо длиннее контекст — вчетверо меньше сессий;
- для небольшой модели карта на 96 ГБ держит больше сессий, чем карта на 80 ГБ, даже если память у неё медленнее.
Как оценить скорость и число пользователей?
Здесь ошибаются чаще всего. «Максимальная скорость» и «скорость при заданной скорости ответа каждому пользователю» — разные числа. Сравнивать можно только строки одного источника с одинаковыми длинами запроса и ответа и одинаковой точностью.
Таблица производителя (NVIDIA TensorRT-LLM, модель Llama 3.3 70B, запрос и ответ по 1 000 токенов, максимальная скорость):
| Ускоритель, точность | Токенов в секунду на систему | На один ускоритель |
|---|---|---|
| RTX PRO 6000 Blackwell, NVFP4, одна карта | 1 787 | 1 787 |
| H100, FP8, две карты | 4 205 | ≈ 2 100 |
| H200, FP8, одна карта | 2 909 | 2 909 |
| B200, NVFP4, одна карта | 7 007 | 7 007 |
Источник: NVIDIA TensorRT-LLM, таблица производительности, версия 1.2.0rc6 (запрос и ответ по 1 000 токенов, максимальная скорость); проверено 06.10.2026.
Строки различаются точностью: FP8 у H100 и H200, NVFP4 у ускорителей Blackwell. Это данные производителя «как есть», а не сравнение при равных условиях.
Для расчёта под пользователей нужен второй тип замера — при фиксированной скорости ответа каждому. Такие замеры публикует независимый трекер SemiAnalysis InferenceX. Как именно читать его метрику, до конца не установлено, поэтому число пользователей на карту мы не приводим в тексте: его считает калькулятор «Сколько пользователей выдержит» — диапазоном и с пометкой «черновая оценка».
Практический вывод: число карт определяют не «по размеру модели», а по трём вводным — длина запроса, длина ответа, нужная скорость. Запишите их до расчёта.
Какой класс ускорителя выбрать и нужен ли NVLink?
| Класс | Ускоритель | Когда подходит | Когда нет |
|---|---|---|---|
| Карта PCIe, память GDDR7 | RTX PRO 6000 Blackwell: 96 ГБ с коррекцией ошибок, до 600 Вт, без NVLink | модели до 30 млрд параметров на карту; модель на 120 млрд в FP8 на двух картах; закрытый контур с небольшим числом пользователей | одна модель, разделённая между 4–8 картами |
| Карта PCIe, память HBM | H200 NVL: 141 ГБ, 4,8 ТБ/с, мост NVLink на 2 или 4 карты | модель на 70 млрд параметров в FP8 на одной карте; длинный контекст | когда нужна общая шина на восемь ускорителей |
| Узел HGX | H200, B200, B300: 141, 180 и до 288 ГБ на ускоритель, общая шина NVLink | крупные модели на восьми ускорителях, высокая параллельность | одна небольшая модель и десяток пользователей |
NVLink нужен, когда одна модель делится между картами. Если модель помещается на одну карту, на каждой карте работает своя копия — и общая шина не требуется. Без NVLink разделённая модель обменивается данными через PCIe, и скорость падает.
Сравнить ускорители между собой можно в инструменте «Сравнение GPU».
Что нужно от площадки: киловатты и охлаждение?
| Узел | Потребление | Источник |
|---|---|---|
| 8 × H100 | до 10,2 кВт | руководство NVIDIA DGX H100 |
| 8 × H200 | площадка — 15 кВт (у системы NVIDIA DGX — до 10,2 кВт) | публикация облачного провайдера; руководство NVIDIA |
| 8 × B200 | до 14,3 кВт | руководство NVIDIA DGX B200 |
| 8 × B300 | типично 14,5 кВт, до 16,4 кВт в пике | руководство NVIDIA DGX B300; HPE |
Обычные машинные залы проектировались под 5–8 кВт на стойку; под серверы с ускорителями нужны стойки на 15–20 кВт. Воздухом охлаждают стойку примерно до 35–40 кВт; выше нужна жидкость.
Серверные ускорители охлаждаются потоком воздуха через шасси. В офисном корпусе без продува они перегреваются и снижают производительность.
Проверить площадку: «Готова ли серверная» и «Питание, тепло и стойка».
Какие шесть ошибок делают при выборе?
- Верить расчёту без замера. Любой расчёт — оценка: её подтверждает нагрузочный тест на вашей модели и ваших запросах.
- Ждать, что 4 бита — «без потерь». Часть качества теряется; насколько — видно только на своих запросах.
- Складывать числа из разных замеров. Строки с разной длиной запроса и разной точностью не сравниваются.
- Не посмотреть на слоты. Если карты в платформе работают на урезанном числе линий PCIe, скорость падает.
- Сравнивать 4-битные результаты с FP8. Это разные режимы с разным качеством ответа.
- Забыть про движок. Программный стек влияет на результат: на небольших моделях разница между движками заметна, на крупных — меньше.
С какой конфигурации начинать расчёт?
| Задача | С чего начать | Что уточнить расчётом |
|---|---|---|
| Ассистент на модели до 30 млрд параметров, закрытый контур | 1 × RTX PRO 6000 (96 ГБ) | число сессий при нужной скорости ответа |
| Модель на 70 млрд параметров в FP8 в своём контуре | H200 NVL: модель помещается на одну карту | число карт под ваших пользователей — в калькуляторе |
| Модель на 120 млрд параметров в FP8 | 2 × RTX PRO 6000 (192 ГБ) | скорость при вашем числе запросов |
| Модель на 70 млрд параметров, длинный контекст | несколько H200 NVL с мостами | память под контекст в пике |
| Крупные модели на восьми ускорителях | узел HGX на B200 или B300 | скорость при вашей параллельности |
Конфигурации по масштабу — на странице «Инференс LLM».
Чек-лист
- Модель, точность, средний и пиковый контекст, число сессий и нужная скорость ответа — записаны.
- Память: веса, контекст и запас 20 % — посчитана; класс ускорителя выбран по памяти.
- Число карт под пользователей — посчитано в калькуляторе под ваши длины запроса и ответа.
- NVLink: модель помещается на карту — не нужен; делится между картами — нужен.
- Площадка: киловатты на узел, продув, стойка — проверены.
Связанные материалы. Разборы на конкретных моделях — Llama 3.3 70B на 4 × H200 NVL, DeepSeek-R1 на одном узле, контекст 128 тысяч токенов; память для дообучения — «Дообучение модели»; выбор между картами — RTX PRO 6000 или H200; все шаги выбора — «Как выбрать GPU-сервер: семь шагов»; основы — «Что такое GPU-сервер»; о спросе на аренду и покупку — структура спроса на аренду GPU-серверов.