Коротко
- Для языковых моделей сначала смотрят объём памяти, затем её полосу и только потом TFLOPS.
- NVIDIA часто указывает TFLOPS с разреженностью (sparsity) — это вдвое больше обычного режима. Сравнивают только числа в одном режиме.
- Формат FP4 есть только у поколения Blackwell: B200, B300 и RTX PRO 6000. Сравнивать скорость в FP4 с FP8 у H200 некорректно.
- Мощность бывает «в сервере» и «предел чипа»: у B300 это 1 100 и до 1 400 Вт. Площадку считают по данным производителя сервера.
- TFLOPS «с разреженностью» в пересчёте на обычный режим
- ÷ 2
- памяти у H200 против H100 при той же скорости в FP8
- ×1,76
- B300 в сервере 8U; до 1 400 Вт — предел чипа
- 1 100 Вт
- память B300 в расчётах; в карточках каталога — до 288 ГБ
- 270 ГБ
Что показывает объём памяти — первая строка?
Объём памяти определяет, поместится ли модель вместе с контекстом. Если нет — остальные строки уже не важны.
| Ускоритель | Память | Тип |
|---|---|---|
| RTX PRO 6000 Blackwell | 96 ГБ | GDDR7 с коррекцией ошибок |
| H100 SXM | 80 ГБ | HBM3 |
| H200 (SXM и NVL) | 141 ГБ | HBM3e |
| B200 | 180 ГБ в системах HGX и DGX | HBM3e |
| B300 | до 288 ГБ; в расчётах — 270 ГБ¹ | HBM3e |
Источник: страницы продуктов NVIDIA — H100, H200, RTX PRO 6000 Blackwell Server Edition, платформа HGX и блог о Blackwell Ultra; полный список — в разделе «Источники»; проверено 07.10.2026.
¹ NVIDIA и часть производителей серверов указывают 288 ГБ на ускоритель, часть — 270 ГБ; в расчётах берём 270 ГБ.
У B200 встречается и 192 ГБ — это максимум чипа и значение для стоек GB200 NVL72; в системах HGX и DGX B200 — 180 ГБ.
Что показывает полоса памяти — вторая строка?
Полоса показывает, сколько данных в секунду ускоритель читает из своей памяти. При генерации ответа модель на каждый новый токен читает из памяти веса и KV-кэш, поэтому скорость генерации ограничивает прежде всего полоса памяти, а не TFLOPS.
| Ускоритель | Полоса памяти |
|---|---|
| RTX PRO 6000 Server Edition | 1 597 ГБ/с (у редакций Workstation и Max-Q — 1 792 ГБ/с) |
| H100 SXM | 3,35 ТБ/с |
| H200 | 4,8 ТБ/с |
| B200 и B300 | 8 ТБ/с |
Ловушка: у одной и той же RTX PRO 6000 полоса зависит от редакции. Сравнивая, проверяйте, о какой редакции речь.
Как читать TFLOPS: с разреженностью и без?
Вычислительную мощность NVIDIA часто публикует «с разреженностью» (sparsity) и пишет в сноске, что без неё значение вдвое ниже. В расчётах и сравнениях берут обычный режим (dense).
| Ускоритель | FP8 в обычном режиме | Как опубликовано |
|---|---|---|
| H100 SXM | 1 979 TFLOPS | 3 958 с разреженностью |
| H200 SXM | 1 979 TFLOPS | 3 958 с разреженностью |
| H200 NVL | около 1 670 TFLOPS | 3 341 с разреженностью |
| B200 | 5 000 TFLOPS | в блоге для разработчиков — 5 PFLOPS, на странице HGX — 4,5 |
| RTX PRO 6000 Server Edition | 2 000 TFLOPS | режим NVIDIA не уточняет |
Ловушки:
- Разные документы одного производителя. У B200 и B300 блог NVIDIA для разработчиков и страница HGX дают разные значения (5 и 4,5 PFLOPS в FP8). Мы показываем оба и не усредняем.
- Режим не указан. Для RTX PRO 6000 NVIDIA не пишет, с разреженностью ли 2 000 TFLOPS. Прямое сравнение с H200 NVL по этой строке ненадёжно.
Чем отличаются форматы чисел FP8, FP4 и FP64?
- FP8 — у H100, H200, B200, B300 и RTX PRO 6000; у предыдущего поколения A100 этого формата нет.
- FP4 (NVFP4) — только у поколения Blackwell: B200 (10 PFLOPS), B300 (15 PFLOPS) — по блогу NVIDIA для разработчиков; на странице HGX — 9 и 13,5 PFLOPS; RTX PRO 6000 (4 000 TFLOPS, режим не уточнён). Скорость в FP4 сравнивают только с FP4: это другой формат и другое качество ответа.
- FP64 — двойная точность для научных расчётов. У узла на B300 — 10 TFLOPS на восемь ускорителей против 296 TFLOPS у узла на B200: для таких задач B300 не предназначен.
Как читать мощность: в сервере и предел чипа?
| Ускоритель | В сервере | Предел по NVIDIA |
|---|---|---|
| B200 | 1 000 Вт на плате HGX B200 | до 1 200 Вт |
| B300 | 1 100 Вт в воздушных серверах 8U | до 1 400 Вт |
| H100 и H200 SXM | — | до 700 Вт |
| H200 NVL | — | до 600 Вт, настраивается |
| RTX PRO 6000 Server Edition | — | до 600 Вт, настраивается; у Max-Q — 300 Вт |
Ловушка: предел чипа B300 (до 1 400 Вт) относится к стойкам с жидкостным охлаждением. Для воздушного узла 8U считают 1 100 Вт на ускоритель и потребление узла по данным производителя сервера.
Какая связь бывает между ускорителями?
| Вид связи | Ускорители | Что это значит |
|---|---|---|
| NVLink через коммутатор на плате | H100, H200 SXM — 900 ГБ/с; B200, B300 — 1,8 ТБ/с | восемь ускорителей работают как одна система |
| Мост NVLink на 2 или 4 карты | H200 NVL — 900 ГБ/с на ускоритель | группа карт делит одну модель |
| NVLink нет | RTX PRO 6000, L40S | обмен идёт через шину PCIe |
Связь нужна, когда одна модель делится между ускорителями. Если на каждой карте своя копия модели, вид связи почти не важен.
Чем отличаются форм-факторы SXM и PCIe?
SXM — модуль для платы HGX (у H100 и H200 — платы на четыре или восемь ускорителей, у B200 и B300 — на восемь; в каталоге — узлы на восемь); PCIe — карта для слота сервера. Подробнее о разнице для покупателя — в материале «SXM или PCIe».
Как сравнить ускорители по строкам: три примера?
Калькулятор «Сравнение GPU» делит строку второго ускорителя на строку первого:
| Пара | Память | Полоса | FP8 | Мощность |
|---|---|---|---|---|
| H100 SXM → H200 SXM | ×1,76 | ×1,43 | ×1,0 | ×1,0 |
| RTX PRO 6000 → H200 NVL | ×1,47 | ×3,01 | ×0,83² | ×1,0 |
| B200 → B300 | ×1,5¹ | ×1,0 | ×1,0 | ×1,1 |
² Режим FP8 у RTX PRO 6000 не уточнён производителем — отношение условное.
Что видно: H200 — та же вычислительная мощность, что у H100, но памяти больше и она быстрее. B300 против B200 — больше памяти и FP4, остальное на одном уровне.
Вывод
Читайте спецификацию в таком порядке: объём памяти → полоса → TFLOPS в одном режиме и одном формате → мощность в сервере → вид связи между ускорителями. Сравнивайте только числа из одного режима и, по возможности, из одного документа.
Связанные материалы. Примеры на сравнении узлов — HGX B300, B200 или H200 и RTX PRO 6000 или H200 для инференса; объём памяти как первая строка спецификации и рынок памяти — дефицит HBM в 2027 году; основы — «Что такое GPU-сервер».