Решение по задаче
Поставим узлы, на которых голосовой робот держит нужное число одновременных разговоров: распознавание речи, языковая модель и синтез работают в вашем контуре.
Коротко
Разговор — это распознавание речи, языковая модель и синтез. Пауза перед ответом складывается из трёх этапов, и у каждого свой запрос к памяти и вычислениям.
Сколько разговоров держит ускоритель, зависит от выбранных моделей и допустимой паузы. Завышенная оценка замораживает бюджет, заниженная срывает ответы в часы пик.
Разговоры распределяются между узлами. Если запас не заложен, выход одного сервера из строя сразу ухудшает качество на всех линиях.
Схема читается сверху вниз: приложение обращается к модели, модель работает на сервере, сервер стоит на площадке. Слабое место в любом слое ограничивает остальные.
Для потоковых задач с несколькими небольшими моделями важнее число независимых ускорителей, чем общая шина между ними: модели раскладываются по картам и работают параллельно.
Какой ускоритель, сколько их и какой сервер каталога взять на каждой ступени.
| Масштаб | Ускоритель | Количество | Сервер в каталоге | Питание | Что на этом работает | Действие |
|---|---|---|---|---|---|---|
| ПилотПроверка сценария на небольшом числе линий | RTX PRO 6000 Blackwell, 96 ГБ | 2 в узле | 2 × RTX PRO 6000 · 2 × CPU · 2U Серверы на RTX PRO 6000 | до 600 Вт на ускоритель | Три модели конвейера раскладываются по двум картам; общая шина между ними не нужна. | Запросить КП |
| ОтделРабочая нагрузка, число разговоров растёт | RTX PRO 6000 Blackwell, 96 ГБ | 4 в узле, несколько узлов | 4 × RTX PRO 6000 · 2 × CPU · 4U Серверы на RTX PRO 6000 | до 600 Вт на ускоритель, до 2,4 кВт на четыре | Копии моделей на независимых картах; число узлов закладывают с учётом отказа одного. | Запросить КП |
| КомпанияКластер под сотню и более одновременных разговоров | RTX PRO 6000, 96 ГБ; под крупную языковую модель — H200 NVL, 141 ГБ | 4–8 в узле, кластер узлов | 8 × RTX PRO 6000 · 2 × CPU · 4U Серверы на RTX PRO 6000Серверы на H200Сеть 400/800G | до 600 Вт на ускоритель, до 4,8 кВт на восемь | Если языковая модель в конвейере на 70 млрд параметров и крупнее — отдельный узел с H200 под неё, узлы PCIe — под распознавание и синтез. | Запросить КП |
Числа разговоров на узел в таблице нет: оно зависит от ваших моделей и допустимой паузы и рассчитывается по вашим данным — в калькуляторе «Голосовой ИИ: одновременные разговоры».
Расчёт — это прогноз; подтверждает его нагрузочный тест по согласованному протоколу, услуга по договору.
Черновая оценка Замеры NVIDIA Riva сделаны на H100; для карт нашего каталога публичных замеров нет — число карт уточняем тестом на стенде.
Живой диалог, порции по 160 мс; робот говорит половину разговора — значения калькулятора по умолчанию. Языковая модель диалога считается отдельно. Погрешность — до двух раз.
Ещё по теме
По одной позиции на каждую ступень. Остальные — в классах каталога.
Серверы на RTX PRO 6000
Модели до 122 млрд параметров в 8 битах
Серверы на RTX PRO 6000
Модели до 235 млрд параметров в 8 битах
Серверы на RTX PRO 6000
Модели до 438 млрд параметров в 8 битах
До 600 Вт на каждый ускоритель: четыре карты — до 2,4 кВт, восемь — до 4,8 кВт только на ускорители. Блоки питания и линию считают под узел целиком.
Серверные карты охлаждаются потоком воздуха через шасси. В офисном корпусе без продува они перегреваются — узлы ставят в стойку.
Разговоры распределяются между узлами. Сеть между ними и запас на отказ одного узла входят в расчёт.
Узлы часто стоят на площадке заказчика. Диски с весами моделей шифруют, доступ к контроллеру управления ограничивают.
Можно взять только нужное.
Зависит от трёх моделей конвейера и допустимой паузы перед ответом.
Оценку для вашего набора моделей даёт калькулятор «Голосовой ИИ: одновременные разговоры»; итоговое число подтверждает нагрузочный тест.
Для потоковых задач с несколькими небольшими моделями важнее число независимых карт, чем общая шина между ними. RTX PRO 6000 — это 96 ГБ памяти с коррекцией ошибок и до 600 Вт на карту.
Если языковая модель в конвейере крупная, под неё добавляют узел с H200 NVL.
Можно, если шасси получает продув и питание по спецификации. Площадку проверяют до заказа — в инструменте «Готова ли серверная».
Шифрованием накопителей, изоляцией контроллера управления в отдельном сегменте, отключением учётных записей по умолчанию, контролем вскрытия корпуса.
Состав мер — на странице «Защита BMC и дисков».
Состав стенда и версии ПО, модели, число потоков, задержки распознавания, диалога и синтеза, сквозная задержка, температуры и потребление. Тест по согласованному протоколу — услуга по договору.
Да. Для серии фиксируются типовая конфигурация узла, протокол теста и условия обслуживания; каждая следующая поставка сверяется с той же базовой линией.
Сумма без НДС и НДС 22 % отдельной строкой. Срок действия предложения указан в нём самом.
Опишите задачу в паре фраз — инженер подберёт конфигурацию. Ответим в рабочее время.
Пн–Пт 9:00–18:00 мск
Форма работает при включённом JavaScript. Напишите на gpu@vistlan.ru или позвоните: +7 (495) 638-50-58.
Дата проверки: 06.10.2026.
Проверяйте важное у инженера
Отвечает программа. Не пишите персональные данные; контакты — только в форме.
Политика обработкиКонтакты оставляйте в форме: в чат их писать не нужно. Перед отправкой я заменю их меткой.