Коротко
- Если модель с контекстом помещается в 96 ГБ с запасом — хватит RTX PRO 6000; если нет — H200 NVL со 141 ГБ.
- У H200 NVL полоса памяти втрое выше (4,8 ТБ/с против 1 597 ГБ/с) — это довод в её пользу при длинных ответах и большом числе запросов.
- У RTX PRO 6000 есть 4-битный формат NVFP4: Llama 3.3 70B в нём занимает 53 % одной карты. У H200 этого формата нет.
- H200 NVL объединяется мостом NVLink на 2 или 4 карты; у RTX PRO 6000 NVLink нет.
- памяти на карту: RTX PRO 6000 и H200 NVL
- 96 и 141 ГБ
- полоса памяти H200 NVL против RTX PRO 6000
- ×3,01
- на карту у обеих
- до 600 Вт
- есть только у RTX PRO 6000 (поколение Blackwell)
- FP4
Чем отличаются RTX PRO 6000 и H200 NVL по основным параметрам?
| Строка | RTX PRO 6000 Server Edition | H200 NVL |
|---|---|---|
| Память | 96 ГБ GDDR7 с коррекцией ошибок | 141 ГБ HBM3e |
| Полоса памяти | 1 597 ГБ/с | 4,8 ТБ/с |
| FP8 | 2 000 TFLOPS (режим NVIDIA не уточняет) | около 1 670 TFLOPS без разреженности |
| FP4 (NVFP4) | есть | нет |
| Связь между картами | NVLink нет, только PCIe | мост NVLink на 2 или 4 карты, 900 ГБ/с на ускоритель |
| Мощность | до 600 Вт, настраивается | до 600 Вт, настраивается |
| Поколение | Blackwell | Hopper |
Источник: страницы продуктов NVIDIA — RTX PRO 6000 Blackwell Server Edition и H200 NVL; полный список — в разделе «Источники»; проверено 07.10.2026.
В калькуляторе «Сравнение GPU» отношения такие: памяти у H200 NVL в 1,47 раза больше, полоса — в 3,01 раза выше, мощность одинаковая. Отношение FP8 (0,83) условное: для RTX PRO 6000 производитель не уточняет режим.
Что считать первым: помещается ли модель на одну карту?
Считаем формулой калькулятора «Запустится ли модель»: (веса + KV-кэш × число запросов) × 1,2. До 90 % памяти — «да», 90–100 % — «впритык», больше — «нет».
| Модель, формат | Контекст × запросов | RTX PRO 6000, 96 ГБ | H200 NVL, 141 ГБ |
|---|---|---|---|
| Llama 3.1 8B, FP8 | 32 768 × 8 | 53 % — да | 36 % — да |
| Mistral Small 3.2 24B, FP8 | 32 768 × 8 | 84 % — да | 57 % — да |
| Qwen3 32B, FP8 | 8 192 × 1 | 44 % — да | 30 % — да |
| Qwen3 32B, FP8 | 32 768 × 8 | 127 % — нет | 86 % — да |
| Llama 3.3 70B, FP8 | 8 192 × 1 | 92 % — впритык | 62 % — да |
| Llama 3.3 70B, NVFP4 | 8 192 × 1 | 53 % — да | формат не поддерживается |
| gpt-oss-120b, 4 бита | 8 192 × 1 | NVFP4: 82 % — да | 4 бита (INT4): 50 % — да |
Проверить на своих значениях: Qwen3 32B на RTX PRO 6000 и та же модель на H200 NVL.
Вывод из таблицы: модели до 30 млрд параметров помещаются на обе карты; разница появляется на длинном контексте и при многих одновременных запросах. Для модели на 70 млрд в FP8 одна RTX PRO 6000 — «впритык», одна H200 NVL — с запасом.
Что считать вторым: нужен ли формат FP4?
NVFP4 хранит вес в 4,5 бита — это 4-битное значение и общий масштаб на блок из 16 чисел. Модель занимает меньше памяти, чем в FP8, но часть качества теряется; насколько — проверяют на своих запросах. У H200 формата NVFP4 нет: он поддерживается только поколением Blackwell.
Что считать третьим: какая скорость и сколько пользователей?
Здесь легко ошибиться, сравнивая числа из разных условий. В таблице NVIDIA TensorRT-LLM для Llama 3.3 70B (запрос и ответ по 1 000 токенов, максимальная пропускная способность):
| Карта и формат | Токенов в секунду на систему |
|---|---|
| RTX PRO 6000 Blackwell, NVFP4, одна карта | 1 787 |
| H200 SXM, FP8, одна карта | 2 909 |
Строки различаются форматом, а H200 в таблице — версия SXM, а не NVL. Это данные производителя «как есть», не сравнение при равных условиях. Число пользователей на карту считает только калькулятор «Сколько пользователей выдержит» — диапазоном и с пометкой «черновая оценка».
Что считать четвёртым: что меняется, когда модель делится между картами?
Если модель не помещается на одну карту, её делят между несколькими — и карты постоянно обмениваются данными. У H200 NVL для этого есть мост NVLink на 2 или 4 карты (900 ГБ/с на ускоритель). У RTX PRO 6000 NVLink нет, обмен идёт через PCIe, и скорость падает. Если же на каждой карте работает своя копия модели, мост не нужен.
Как выбрать
| Ваша ситуация | С чего начать расчёт |
|---|---|
| Модель до 30 млрд параметров, короткие запросы, закрытый контур | сервер на 2 карты RTX PRO 6000 |
| Модель на 70 млрд параметров в FP8 | H200 NVL: модель помещается на одну карту с запасом |
| Модель на 70–120 млрд параметров в 4-битном формате | RTX PRO 6000 в NVFP4 или H200 NVL с 4-битными весами (без аппаратного FP4 — скорость проверять) |
| Длинный контекст, одна модель на несколько карт | 2–4 карты H200 NVL с мостом |
| Много небольших моделей или копий одной модели | 4–8 карт RTX PRO 6000 |
Серверы в каталоге: 2 × RTX PRO 6000, 2U, 4 × RTX PRO 6000, 4U, 8 × RTX PRO 6000, 4U, 2 × H200 NVL, 4 × H200 NVL.
Вывод
Сначала посчитайте память под модель и контекст: она отсекает половину вариантов. Если модель с запасом помещается в 96 ГБ — RTX PRO 6000; если нужна память 141 ГБ на карту, высокая полоса или одна модель на несколько карт — H200 NVL. Скорость под ваших пользователей проверяют калькулятором, а затем нагрузочным тестом на своих запросах.
Связанные материалы. Расчёт на конкретной модели — Llama 3.3 70B на сервере 4 × H200 NVL; чем отличаются исполнения карт — SXM или PCIe; как читать строки спецификации — «Как читать характеристики ускорителя»; формулы — «Как посчитать память GPU под модель».