Укажите модель, число людей и вид запросов — получите число карт под этот сценарий. Это черновая оценка по опубликованным замерам: источники и допущения — под результатом.
Коротко
Черновая оценка по публичным замерам. Источник не поясняет, что входит в его число, — мы взяли осторожное прочтение. Подробности — в блоке «Как считаем».
11 карт H200 — длинные запросы, 38 токенов в секунду каждому
100 человек × 100 % активных = 100 запросов одновременно, каждому — 38 токенов в секунду.
Диапазон по сценариям: от 2 (короткие запросы без гарантии скорости, замер TensorRT-LLM в FP8) до 11 (длинные запросы с заданной скоростью, замер InferenceX в FP8). Погрешность — до двух раз в обе стороны. Скорость 38 — замеренная точка источника.
Llama 3.3 70B Instruct, 100 запросов одновременно, длинные запросы, 38 токенов в секунду каждому. Нажмите на ускоритель, чтобы выбрать его.
| Ускоритель | Карт под сценарий | По скорости | По памяти | Запросов на одну карту | Точность замера | Источник |
|---|---|---|---|---|---|---|
| замеров нет; по памяти — от 5 | — | — | — | — | — | |
| 19 | 19 | 6 | 5,4 | FP8 | замер | |
| 11 | 11 | 4 | 9,7 | FP8 | замер 1, замер 2 | |
| 6 | 6 | 3 | 19,1 | FP8 | замер 1, замер 2 | |
| замеров нет; по памяти — от 2 | — | — | — | — | — |
«Замеров нет» — источник эту пару «модель и ускоритель» не измерял: для неё число карт считаем под ваши потоки и проверяем тестом, а не достраиваем по соседним картам.
Каждый длинный запрос — это сначала чтение 8 192 токенов, потом ответ. Один H200 по замеру обрабатывает 3 310 токенов в секунду всего, из них на ответы приходится 367,8. При скорости 38 токенов в секунду на человека это 9,7 запроса одновременно. У вас 100 запросов — нужно 11 карт. Если запросы короткие, карт нужно в разы меньше: считается чтение, а не только ответ.
Под результат: 11 карт H200. Наличие и срок уточняем при запросе.
На 11 карт H200 нужно несколько серверов — между ними понадобится сеть. Посчитать сеть кластера
2 сервера по 8 × H200
Серверы на H200
Модели до 753 млрд параметров в 8 битах
Черновая оценка по замерам SemiAnalysis InferenceX (запросы 8 тыс. / 1 тыс. токенов) и NVIDIA TensorRT-LLM 1.2.0rc6 (1000 / 1000) на дату в источниках. Запросы другой длины дадут другой результат. Мы считаем под ваши потоки и говорим, какие метрики снять на вашей стороне. Расчёт — оценка по формуле и опубликованным данным на дату, указанную в источниках. Это не обязательство и не оферта. Точную конфигурацию определяет инженер по вашей нагрузке и проверяет тестом.
Одно число — один сценарий. Одновременных запросов = пользователи × доля активных, вверх до целого. Дальше считаем число карт по скорости и отдельно по памяти и берём большее.
Что измерил источник — простыми словами. Для каждой скорости ответа (столько-то токенов в секунду каждому человеку) источник даёт одно число: сколько токенов в секунду успевает обработать один ускоритель. Запрос в замере длинный: модель сначала читает 8 192 токена, потом пишет 1 024. Мы считаем, что число источника — это чтение и ответ вместе, и на ответы приходится девятая часть: 1 024 из 9 216. Карт по скорости = запросы × скорость ÷ эта девятая часть.
Почему оценка черновая. На сайте источника не сказано, считает ли он только ответ или чтение вместе с ответом. Если бы это был только ответ, одна карта H100 держала бы около 48 запросов по 9 тыс. токенов — это около 145 ГБ кэша при 80 ГБ памяти карты, так быть не может. Поэтому принято осторожное прочтение. При другом прочтении карт понадобилось бы в девять раз меньше. Это наш вывод, а не цитата источника: до проверки на своих запросах числу нельзя верить больше, чем оценке.
Память. Кэш контекста на все одновременные запросы плюс веса модели — та же формула, что в калькуляторе памяти.
Короткие запросы. Потолок пропускной способности из таблицы производителя: карт = запросы × скорость ÷ потолок. Время ответа каждому при этом не гарантировано.
Чего мы не делаем. Между замеренными точками скорость считается по прямой; ниже первой точки берётся первая; выше последней результата нет. Для пары «модель и ускоритель» без замера число не достраивается по соседним картам.
Точки замеров длинных запросов (сценарий 8K / 1K):
| Модель | Ускоритель | Точность | Скорость на человека → токенов в секунду на ускоритель | Страница |
|---|---|---|---|---|
| Llama 3.3 70B Instruct | H100 | FP8 | 38 → 1847,6; 58 → 1171,4; 78 → 877,4 | замер |
| Llama 3.3 70B Instruct | H200 | FP8 | 38 → 3310; 45 → 2977,6; 58 → 2516,2; 76 → 1930,3; 78 → 1864; 108 → 1152 | замер |
| Llama 3.3 70B Instruct | B200 | FP8 | 37 → 6593,5; 45 → 5993,5; 61 → 4854,3; 76 → 3981; 85 → 3537,9; 108 → 2351,5 | замер |
| gpt-oss-120b | H200 | FP4 | 92 → 6714,1; 147 → 4481,8; 201 → 2811,5 | замер |
| gpt-oss-120b | B200 | FP4 | 104 → 32859,9; 171 → 20448,4; 238 → 13724,8 | замер |
| DeepSeek-R1 (671B) | H200 | FP8 | 50 → 1590,9; 89 → 569; 128 → 292,1 | замер |
| DeepSeek-R1 (671B) | B300 | FP8 | 50 → 5852,2; 89 → 2298,5; 128 → 992,2 | замер |
| DeepSeek-R1 (671B) | B200 | FP8 | 50 → 4851,9; 89 → 1461,3; 128 → 1051 | замер |
Потолок на коротких запросах (1000 / 1000, токенов в секунду):
| Модель | Конфигурация | Точность | На систему / на один ускоритель |
|---|---|---|---|
| Llama 3.3 70B Instruct | 1 × H200 | FP8 | 2 909 / 2909 |
| Llama 3.3 70B Instruct | 2 × H100 | FP8 | 4 205 / 2102,5 |
| Llama 3.3 70B Instruct | 1 × B200 | NVFP4 | 7 007 / 7007 |
| Llama 3.3 70B Instruct | 1 × RTX PRO 6000 | NVFP4 | 1 787 / 1787 |
| DeepSeek-R1 (671B) | 8 × B200 | NVFP4 | 37 634 / 4704,2 |
| Qwen3 235B-A22B (MoE) | 8 × B200 | NVFP4 | 42 391 / 5298,9 |
| Qwen3 235B-A22B (MoE) | 8 × H200 | FP8 | 23 789 / 2973,6 |
| Qwen3 235B-A22B (MoE) | 8 × H100 | FP8 | 14 898 / 1862,2 |
Погрешность. От двух раз в меньшую сторону до двух раз в большую; внутри замеренных точек — точнее. Замеры сделаны на случайных запросах фиксированной длины: повтор одинаковых начал запросов в жизни снижает нагрузку, другая модель, движок или квантование меняют результат. Поэтому это черновая оценка: итог проверяется нагрузочным тестом на ваших запросах.
Источники.
Данные справочников — на 06.10.2026.
Что считаем. Сколько ускорителей нужно, чтобы заданное число людей одновременно получало ответ с заданной скоростью. Одновременных запросов = пользователи × доля активных, вверх до целого.
По скорости. Источники замеров (SemiAnalysis InferenceX и таблицы производителя) дают для модели, ускорителя и точности число: сколько токенов в секунду успевает обработать один ускоритель при заданной скорости на человека. Запрос в замере длинный: 8 192 токена чтения и 1 024 токена ответа. Принято осторожное прочтение: число источника — это чтение и ответ вместе, на ответ приходится 1 024 из 9 216. Карт по скорости = запросы × скорость ÷ эта доля числа источника.
По памяти. Кэш контекста на все одновременные запросы плюс веса модели — та же формула, что в калькуляторе памяти. Рекомендуется большее из двух чисел. Между замеренными скоростями значение берётся по прямой; ниже первой замеренной точки — первая точка; выше последней результата нет.
Короткие запросы. Для запросов 1 000 / 1 000 токенов берётся потолок пропускной способности из таблицы производителя: карт = запросы × скорость ÷ потолок. Время ответа каждому при этом не гарантировано. Память для коротких запросов считается в той же точности, в которой сделан этот замер (у B200 и RTX PRO 6000 это NVFP4, у H100 и H200 — FP8).
Результат. Для 100 пользователей со скоростью 38 токенов в секунду каждому нужно 11 карт H200 (длинные запросы). Для коротких запросов потолок даёт 2 карты, но скорость каждому он не гарантирует.
| Пользователей | H100 | H200 | B200 |
|---|---|---|---|
| 50 | 10 | 6 | 3 |
| 100 | 19 | 11 | 6 |
| 500 | 93 | 52 | 27 |
| 1 000 | 186 | 104 | 53 |
Источник: эталон расчёта сайта (контрольные примеры) и данные — опубликованные замеры и оценки, параметры моделей, характеристики ускорителей, проверено 06.10.2026.
По формуле инструмента: длинные запросы 8 192 / 1 024 токенов, все пользователи активны, берётся большее из чисел по скорости и по памяти. Для B200 скорость 38 получена по прямой между замеренными точками. Строка 100 пользователей на H200 совпадает с примером выше. Черновая оценка: итог проверяют нагрузочным тестом на ваших запросах.
Параметры переносить не нужно: у каждого инструмента свои поля и свой результат.
Проверяйте важное у инженера
Отвечает программа. Не пишите персональные данные; контакты — только в форме.
Политика обработкиКонтакты оставляйте в форме: в чат их писать не нужно. Перед отправкой я заменю их меткой.