Серверы и ускорители NVIDIA для ИИ · поставка по России с документами +7 (495) 638-50-58 Перезвоните мне
Подобрать сервер Запросить КП

Сколько GPU нужно голосовому ИИ под одновременные разговоры

Введите число разговоров — оценим, сколько карт нужно под распознавание и синтез речи по опубликованным замерам, и честно покажем, каких данных нет.

  • Черновая оценка
  • Вилка вместо одной цифры

Коротко

  • Калькулятор считает, сколько ускорителей нужно под распознавание и синтез речи для заданного числа одновременных разговоров, по замерам NVIDIA Riva.
  • Для 150 разговоров на русском языке нужно 1 × H100 под распознавание и от 1 × H100 до 3 × H100 под синтез.
  • Средняя задержка распознавания в замере NVIDIA на 256 потоках — 84 мс. Погрешность — до двух раз; замеры есть для H100, L40 и A100.

Карты под распознавание — к результату

Черновая оценка Для B300, B200, H200 и RTX PRO 6000 публичных замеров нет. Считаем по ближайшей измеренной карте и показываем вилку.

Язык речи

Русская речь — замер модели Conformer-CTC с языковой моделью (n-gram); английская — без языковой модели.

Карта, на которой сделан замер

Для карт нашего каталога замеров нет. Как они соотносятся с H100 по памяти и вычислениям — в таблице под расчётом; число карт уточняем тестом.

Режим распознавания

Короткие порции — для живого диалога; длинные — больше потоков на карту, но ответ запаздывает.

Допущение, поставьте своё.

Вилка по синтезу — между расчётом по пропускной способности и по наибольшей измеренной точке; разница может быть в несколько раз. Погрешность всей оценки — до двух раз.

Как карта замера соотносится с картами каталога?

Замеры NVIDIA сделаны на H100 80 ГБ HBM3. Числа потоков для карт нашего каталога NVIDIA не публикует. Ниже — паспортные память и производительность FP16 (dense) рядом с H100: по ним видно, какие карты не слабее H100, но сколько разговоров они держат, покажет только тест на стенде.

КартаПамятьFP16 (dense), TFLOPSРядом с H100
H100 — карта замера80 ГБ989,5на ней сделан замер NVIDIA Riva
H200141 ГБ989,5не меньше H100 по памяти и по вычислениям FP16
H200 NVL141 ГБ835памяти больше, вычислений FP16 меньше — около 84 % от H100
B200180 ГБ¹2 250²не меньше H100 по памяти и по вычислениям FP16
B300270 ГБ³2 250²не меньше H100 по памяти и по вычислениям FP16
RTX PRO 600096 ГБ—памяти больше; с разреженностью или без неё даны значения вычислений, производитель не указал — по вычислениям не сравниваем

¹ 180 ГБ — в системах HGX и DGX B200; 192 ГБ — максимум чипа и стойка GB200 NVL72. В расчётах 180

² FP16 — расчёт из суммарной цифры платы HGX по данным NVIDIA.

³ NVIDIA и часть производителей серверов указывают 288 ГБ на ускоритель, часть — 270 ГБ; в расчётах берём 270 ГБ

Почему синтез речи считается вилкой, а распознавание — одним числом?

Распознавание идёт всё время разговора, синтез — только когда говорит робот, поэтому одновременных потоков синтеза меньше. Карт под синтез расчёт даёт вилкой — от оптимистичной оценки до осторожной; точное число определяет тест.

Посчитать GPU под языковую модель диалога

Какие серверы каталога подойдут для теста под ваши потоки?

Замеров распознавания речи на картах каталога NVIDIA не публикует. Это серверы для теста на стенде: на картах, у которых памяти не меньше, чем у H100; как они соотносятся с H100 по вычислениям — в таблице выше и в пометке над карточкой. Число карт под ваши потоки определит тест. Наличие и срок уточняем при запросе.

Серверы на H200

4 × H200 NVL · 2 × CPU · 4U

Ускорители
4 × NVIDIA H200 NVL, 141 ГБ
Видеопамять
564 ГБ
Процессоры
2 × CPU, не менее 32 ядер каждый
Высота и питание
4U · ускорители до 2,4 кВт
Охлаждение
воздушное

Модели до 405 млрд параметров в 8 битах

Наличие уточняется

Серверы на RTX PRO 6000

2 × RTX PRO 6000 · 2 × CPU · 2U

Ускорители
2 × RTX PRO 6000, 96 ГБ
Видеопамять
192 ГБ
Процессоры
1–2 × CPU — по платформе
Высота и питание
2U · ускорители до 1,2 кВт
Охлаждение
воздушное

Модели до 122 млрд параметров в 8 битах

Наличие уточняется

Серверы на RTX PRO 6000

4 × RTX PRO 6000 · 2 × CPU · 4U

Ускорители
4 × RTX PRO 6000, 96 ГБ
Видеопамять
384 ГБ
Процессоры
2 × CPU, не менее 32 ядер каждый
Высота и питание
4U · ускорители до 2,4 кВт
Охлаждение
воздушное

Модели до 235 млрд параметров в 8 битах

Наличие уточняется
Смотреть каталог

Замеры NVIDIA Riva на картах H100, L40, A100. Для карт каталога публичных замеров нет — считаем под ваши потоки на стенде. Расчёт — оценка по формуле и опубликованным данным на дату, указанную в источниках. Это не обязательство и не оферта. Точную конфигурацию определяет инженер по вашей нагрузке и проверяет тестом.

Как считаем: формула, источники, погрешность

Карт под распознавание — число разговоров, делённое на максимум потоков одной карты в замере, с округлением вверх. Под синтез — число одновременно говорящих потоков, делённое либо на наибольшую измеренную точку (32 потока — осторожно), либо на пропускную способность в этой точке (оптимистично).

Источник — страницы производительности распознавания и синтеза Riva 2.15.0, потоковый режим. Русская речь — модель Conformer-CTC с языковой моделью (n-gram). Английская — Conformer-CTC без языковой модели. Для обоих языков средняя задержка дана для наибольшей табличной точки, а не для максимума потоков. Синтез — FastPitch с HiFi-GAN. «Максимум потоков» — значение «Maximum effective # of streams» из таблиц источника; как оно получено, источник не поясняет.

Карты каталога сравниваются с H100 только по паспортным данным — памяти и производительности FP16 без разреженности из справочника ускорителей сайта; пересчёта потоков по этим числам нет.

Чего здесь нет: замеров связки «распознавание, языковая модель, синтез»; замеров распознавания на картах каталога. Языковая модель диалога считается отдельным калькулятором.

Погрешность. До двух раз: замеры сделаны на других картах и в лабораторных условиях.

Источники.

Данные справочников — на 06.10.2026.

Как считают GPU под одновременные голосовые разговоры?

Метод расчёта

Что считаем. Сколько ускорителей нужно под распознавание и синтез речи для заданного числа одновременных разговоров — по опубликованным замерам NVIDIA Riva в потоковом режиме. Замеры есть для карт H100, L40 и A100; для карт каталога их нет, и расчёт для них не делается.

Распознавание: карт = разговоры ÷ максимум потоков одной карты в замере, вверх до целого. Синтез: число одновременно говорящих потоков (разговоры × доля времени, когда говорит система) делится либо на наибольшую измеренную точку (осторожная оценка), либо на пропускную способность в этой точке (оптимистичная). Итог — вилка из двух чисел.

Русская речь — модель Conformer-CTC с языковой моделью (n-gram), английская — без языковой модели; синтез — FastPitch с HiFi-GAN. Средняя задержка дана для наибольшей табличной точки, а не для максимума потоков. Замеров связки «распознавание, языковая модель, синтез» нет; языковая модель диалога считается отдельным калькулятором. Погрешность — до двух раз.

Разобранный пример

Разговоров
150
Карта замера
H100
Порция распознавания
160 мс
Язык
русская речь
Доля времени, когда говорит система
50 %
  1. Распознавание: 150 ÷ 357 потоков на карту, вверх до целого — 1.
  2. Одновременно говорят: 150 × 50 % = 75 потоков.
  3. Синтез, осторожно: 75 ÷ 32 потока в наибольшей измеренной точке, вверх до целого — 3.
  4. Синтез, оптимистично: 75 ÷ пропускная способность в этой точке (по таблице источника — 700), вверх до целого — 1.
  5. Средняя задержка распознавания: 84 мс при 256 потоках.

Результат. Для 150 разговоров: распознавание — 1 H100, синтез — от 1 до 3 H100.

Карты под распознавание и синтез речи черновая оценка

Карты под распознавание и синтез речи (черновая оценка)
СлучайРаспознавание, картСинтез (осторожно), картСинтез (оптимистично), картЗадержка, мс
150 разговоров, H100, порция 160 мс, русская речь, говорят 50 %13184
500 разговоров, H100, порция 160 мс, русская речь, говорят 50 %28184
2 000 разговоров, L40, порция 800 мс, русская речь, говорят 30 %2192130
150 разговоров, A100, порция 160 мс, русская речь, говорят 50 %13175
150 разговоров, H100, порция 160 мс, английская речь, говорят 50 %131101

Источник: эталон расчёта сайта (контрольные примеры) и данные — опубликованные замеры и оценки, проверено 06.10.2026.

Из эталона расчёта сайта (контрольные примеры tests.json); карты — те, на которых сделан замер NVIDIA Riva. Первая строка совпадает с примером выше. Черновая оценка: погрешность до двух раз.

Обновлено
Подобрать Запросить КП Чат