Как выглядит скорость ответа модели в токенах в секунду

Выберите скорость — и текст напечатается так, как его увидит пользователь. Сразу понятно, много это или мало.

Без регистрации
Скорости из опубликованных замеров

Коротко

Демонстрация показывает, как выглядит скорость ответа модели: пауза между токенами и время, за которое печатается ответ.
При 38 токенах в секунду пауза между токенами — 26,3 мс, а ответ из 1 000 токенов печатается 26,3 секунды.
Точки скорости взяты из опубликованных замеров.

Без JavaScript показан результат для значений по умолчанию: поля ниже его не пересчитывают. Включите JavaScript или отправьте параметры инженеру.

38 токенов в секунду — к образцу

Почему важна скорость ответа для одного пользователя?

Человек читает ответ по мере печати, поэтому важна скорость для одного пользователя, а не только общая производительность сервера.

Посчитать, сколько GPU нужно для такой скорости

Какие серверы каталога стоят на карте из замера?

Серверы на ускорителе, на котором сделан выбранный замер. Сколько карт нужно вашим пользователям, посчитает калькулятор пользователей. Наличие и срок уточняем при запросе.

Серверы на H200

8 × H200 · 2 × CPU · 8U

Ускорители: 8 × NVIDIA H200, 141 ГБ
Видеопамять: 1,1 ТБ
Процессоры: 2 × Intel Xeon или AMD EPYC — по платформе
Высота и питание: 8U · площадка — 15 кВт (DGX — до 10,2)
Охлаждение: воздушное

Модели до 753 млрд параметров в 8 битах

Наличие уточняется

Запросить КП Подробнее

Смотреть каталог

Демонстрация скорости печати. Сколько токенов в секунду получите вы, зависит от модели, карты и числа одновременных запросов. Расчёт — оценка по формуле и опубликованным данным на дату, указанную в источниках. Это не обязательство и не оферта. Точную конфигурацию определяет инженер по вашей нагрузке и проверяет тестом.

Откуда числа на кнопках

Пауза между токенами — 1 000 мс, делённые на скорость; время ответа — длина ответа, делённая на скорость.

18 — Один поток на одной RTX PRO 6000: Llama 3.1 70B в четырёх битах (опубликованный замер). Замер опубликован облачным провайдером, а не NVIDIA и не InferenceX (вторичный источник); модель в четырёх битах, с остальными точками не сравнивается.
38 — Точка «скорость на пользователя» в замерах InferenceX: Llama 3.3 70B на H100 и H200, запрос 8 тыс. токенов.
58 — Точка «скорость на пользователя» в замерах InferenceX: Llama 3.3 70B на H100 и H200.
78 — Точка «скорость на пользователя» в замерах InferenceX: Llama 3.3 70B на H100 и H200.
238 — Точка «скорость на пользователя» в замерах InferenceX: gpt-oss-120b на B200, четыре бита.

Замеры сделаны на разных моделях и картах и между собой не сравниваются: кнопки показывают, как ощущается число, а не какая карта быстрее.

Данные справочников — на 06.10.2026.

Что показывает демонстрация скорости токенов?

Метод расчёта

Что показывает. Как выглядит заданная скорость ответа модели: текст появляется по мере печати, и человек видит паузу между токенами. Токен — кусок слова, в среднем около трёх знаков (допущение для русского текста); у каждой модели разбиение своё.

Формулы. Пауза между токенами = 1 000 мс ÷ скорость. Время ответа = длина ответа в токенах ÷ скорость.

Точки скорости взяты из опубликованных замеров: они сделаны на разных моделях и картах и между собой не сравниваются. Кнопки показывают, как ощущается число, а не какая карта быстрее.

Разобранный пример

Скорость ответа: 38 токенов в секунду
Длина ответа: 1 000 токенов

Пауза между токенами: 1 000 мс ÷ 38 = 26,3 мс.
Время ответа: 1 000 ÷ 38 = 26,3 секунды.

Результат. При 38 токенах в секунду ответ из 1 000 токенов печатается 26,3 секунды, пауза между токенами — 26,3 мс.

Пауза и время ответа из 1 000 токенов при разной скорости черновая оценка

Пауза и время ответа из 1 000 токенов при разной скорости (черновая оценка)
Токенов в секунду	Пауза между токенами, мс	Время ответа, с	Откуда точка
18	55,6	55,6	Один поток на одной RTX PRO 6000: Llama 3.1 70B в четырёх битах (опубликованный замер). Вторичный источник (облачный провайдер).
38	26,3	26,3	Точка «скорость на пользователя» в замерах InferenceX: Llama 3.3 70B на H100 и H200, запрос 8 тыс. токенов.
58	17,2	17,2	Точка «скорость на пользователя» в замерах InferenceX: Llama 3.3 70B на H100 и H200.
78	12,8	12,8	Точка «скорость на пользователя» в замерах InferenceX: Llama 3.3 70B на H100 и H200.
238	4,2	4,2	Точка «скорость на пользователя» в замерах InferenceX: gpt-oss-120b на B200, четыре бита.

Источник: эталон расчёта сайта (контрольные примеры) и данные — опубликованные замеры и оценки, проверено 06.10.2026.

По формуле инструмента (та же функция speedDemo) для пяти точек скорости демонстрации; строка 38 совпадает с примером выше. Черновая оценка: токен здесь условный, разбиение у каждой модели своё.

Что ещё посчитать перед запросом КП?

Параметры переносить не нужно: у каждого инструмента свои поля и свой результат.

Все инструменты подбора и расчёта

Обновлено 06.10.2026