Коротко
- Llama 3.3 70B помещается в сервер 4 × H200 NVL с запасом: в FP8 веса занимают 70,6 ГБ из 564 ГБ.
- Сама модель в FP8 помещается и на одну карту H200 NVL (141 ГБ). Четыре карты нужны под длинный контекст и много одновременных запросов.
- Границу задаёт KV-кэш: 320 КиБ на каждый токен. 32 запроса по 32 тысячи токенов в FP8 занимают 88 % памяти сервера — это ещё «да».
- В FP16 веса занимают 141,1 ГБ, и предел наступает вдвое раньше: 32 запроса по 32 тысячи токенов уже не помещаются.
- памяти в сервере 4 × H200 NVL
- 564 ГБ
- весов Llama 3.3 70B в FP8
- 70,6 ГБ
- KV-кэша на один токен контекста
- 320 КиБ
- памяти занято: FP8, 32 запроса по 32 тысячи токенов
- 88 %
Какие исходные данные у расчёта Llama 3.3 70B на 4 × H200 NVL?
Заказчик планирует запускать в своём контуре модель Llama 3.3 70B Instruct и смотрит на сервер с четырьмя картами H200 NVL. Вопрос: поместится ли модель — и сколько запросов сервер удержит одновременно.
Что берём в расчёт:
| Параметр | Значение |
|---|---|
| Модель | Llama 3.3 70B Instruct: 70,554 млрд параметров, 80 слоёв, 8 KV-голов размерностью 128, контекст до 131 072 токенов |
| Сервер | 4 × H200 NVL по 141 ГБ — 564 ГБ видеопамяти, мост NVLink на четыре карты |
| Формулы | те же, что в калькуляторах «Память GPU под модель» и «Запустится ли модель» |
Сколько памяти занимают веса Llama 3.3 70B?
Веса занимают число параметров, умноженное на байты на параметр: 2 байта в FP16, 1 байт в FP8.
| Формат | Веса Llama 3.3 70B | Что из этого следует |
|---|---|---|
| FP16 | 141,1 ГБ | одни веса занимают одну карту H200 NVL целиком |
| FP8 | 70,6 ГБ | веса занимают половину одной карты |
Источник: репозиторий модели на Hugging Face (число параметров) и руководство Lenovo LP2130 (байт на параметр в FP16 и FP8); полный список — в разделе «Источники»; проверено 07.10.2026.
4-битный формат NVFP4 здесь не рассматриваем: он работает только на ускорителях поколения Blackwell, а H200 — поколение Hopper.
Сколько памяти нужно под контекст: KV-кэш?
Пока модель отвечает, она хранит данные по каждому токену контекста. Формула: байт на токен = 2 × число слоёв × число KV-голов × размерность головы × 2 байта. Для Llama 3.3 70B: 2 × 80 × 8 × 128 × 2 = 327 680 байт, то есть 320 КиБ на токен.
| Длина одного запроса | KV-кэш на запрос |
|---|---|
| 8 192 токена | 2,68 ГБ |
| 32 768 токенов | 10,74 ГБ |
| 131 072 токена (128 тысяч) | 42,95 ГБ |
Один запрос на 128 тысяч токенов занимает столько же памяти, сколько 16 запросов по 8 тысяч.
Сколько памяти нужно в сумме с запасом?
Итог = (веса + KV-кэш × число одновременных запросов) × 1,2. Множитель 1,2 — запас на работу движка. Вердикт — как в калькуляторе: занято до 90 % памяти — «да», от 90 до 100 % — «впритык», больше 100 % — «нет». Порог 90 % — рабочее правило, а не данные производителя.
| Формат | Контекст × запросов | Нужно памяти | Доля от 564 ГБ | Вердикт |
|---|---|---|---|---|
| FP8 | 8 192 × 1 | 87,9 ГБ | 16 % | да |
| FP8 | 8 192 × 32 | 187,7 ГБ | 33 % | да |
| FP8 | 32 768 × 16 | 290,8 ГБ | 52 % | да |
| FP8 | 32 768 × 32 | 497,0 ГБ | 88 % | да |
| FP8 | 131 072 × 8 | 497,0 ГБ | 88 % | да |
| FP8 | 131 072 × 16 | 909,3 ГБ | 161 % | нет |
| FP16 | 8 192 × 1 | 172,6 ГБ | 31 % | да |
| FP16 | 32 768 × 16 | 375,5 ГБ | 67 % | да |
| FP16 | 32 768 × 32 | 581,6 ГБ | 103 % | нет |
| FP16 | 131 072 × 8 | 581,6 ГБ | 103 % | нет |
Проверить строку на своих значениях: 32 запроса по 32 тысячи токенов в FP8 или 8 запросов по 128 тысяч в FP16.
Что будет, если карт меньше?
| Сервер | FP8, 8 192 × 1 | FP8, 131 072 × 1 | FP8, 32 768 × 8 |
|---|---|---|---|
| 1 × H200 NVL, 141 ГБ | 62 % — да | 97 % — впритык | 133 % — нет |
| 2 × H200 NVL, 282 ГБ | 31 % — да | 48 % — да | 67 % — да |
| 4 × H200 NVL, 564 ГБ | 16 % — да | 24 % — да | 33 % — да |
Вывод из таблицы: одна карта подходит для пилота с короткими запросами; два-четыре — для длинного контекста и десятков одновременных запросов.
Что расчёт памяти не показывает?
- Скорость ответа. Помещается — не значит «отвечает быстро». Сколько пользователей сервер обслужит при нужной скорости, считает калькулятор «Сколько пользователей выдержит» — диапазоном и с пометкой «черновая оценка».
- Движок. Разные движки занимают память по-разному; запас 20 % — оценка сверху по руководству Hugging Face («до 20 %»).
- Качество FP8. Формат FP8 ближе к исходной модели, чем 4-битные, но проверять ответы стоит на своих запросах.
Вывод
Сервер 4 × H200 NVL держит Llama 3.3 70B в FP8 с запасом: до 32 одновременных запросов по 32 тысячи токенов или до 8 запросов по 128 тысяч токенов. В FP16 веса вдвое больше, и предел наступает раньше: 16 запросов по 32 тысячи токенов занимают 67 % памяти, а 32 уже не помещаются. Если длинного контекста и десятков одновременных запросов нет, хватит сервера на две карты.
Сервер на четыре карты в каталоге — «Сервер 4 × NVIDIA H200 NVL с мостом NVLink, 4U»; характеристики ускорителя — на странице NVIDIA H200; мост NVLink на 2 или 4 карты продаётся отдельной позицией — «NVLink Bridge для NVIDIA H200 NVL».
Связанные материалы. Кэш для других длин контекста — расчёт для 128 тысяч токенов; модель покрупнее — DeepSeek-R1 на одном узле из восьми ускорителей; карта RTX PRO 6000 вместо H200 NVL — сравнение для инференса; для пилота есть и настольные системы — DGX Spark с 64 ГБ памяти; память под другие модели — в таблице для 30 языковых моделей; порядок выбора целиком — «Как выбрать GPU-сервер: семь шагов».