Коротко
- Запрос на 128 тысяч токенов у Llama 3.3 70B занимает 42,95 ГБ под KV-кэш — больше половины весов в FP8.
- Объём кэша растёт линейно: вдвое длиннее запрос — вдвое больше памяти; 16 запросов по 8 тысяч токенов занимают столько же, сколько один на 128 тысяч.
- Хранение кэша в FP8 вместо FP16 уменьшает его вдвое. Как это скажется на качестве ответов, проверяют на своих запросах.
- Не всякая модель умеет 128 тысяч токенов: у Phi-4, например, максимум — 16 384. Сначала проверяют предел модели, потом считают память.
- KV-кэш одного запроса Llama 3.3 70B на 128 тысяч токенов
- 42,95 ГБ
- веса той же модели в FP8
- 70,6 ГБ
- меньше кэш в формате FP8, чем в FP16
- в 2 раза
- по 8 тысяч токенов занимают столько же, сколько один на 128 тысяч
- 16 запросов
По какой формуле считается память под контекст?
У моделей со стандартным вниманием кэш на один токен считается так: 2 × число слоёв × число KV-голов × размерность головы × байт на число. Множитель 2 — это ключи и значения. По умолчанию кэш хранится в FP16 — 2 байта на число.
Пример для Llama 3.3 70B: 80 слоёв, 8 KV-голов, размерность головы 128. Выходит 2 × 80 × 8 × 128 × 2 = 327 680 байт — 320 КиБ на токен. Запрос на 131 072 токена (это и есть «128 тысяч») занимает 327 680 × 131 072 байт ≈ 42,95 ГБ.
Сколько занимает кэш одного запроса на 128 тысяч токенов?
| Модель | Слоёв / KV-голов | Кэш в FP16 | Кэш в FP8 | Веса модели в FP8 |
|---|---|---|---|---|
| Llama 3.1 8B | 32 / 8 | 17,18 ГБ | 8,59 ГБ | 8,0 ГБ |
| Mistral Small 3.2 24B | 40 / 8 | 21,47 ГБ | 10,74 ГБ | 24,0 ГБ |
| Llama 3.3 70B | 80 / 8 | 42,95 ГБ | 21,47 ГБ | 70,6 ГБ |
| Mistral Large 2411 (123B) | 88 / 8 | 47,24 ГБ | 23,62 ГБ | 122,6 ГБ |
| Llama 3.1 405B | 126 / 8 | 67,65 ГБ | 33,82 ГБ | 405,9 ГБ |
Источник: файлы config.json репозиториев моделей на Hugging Face (слои, KV-головы, размерность головы) и расчёт по формуле из этого материала; полный список — в разделе «Источники»; проверено 07.10.2026.
У всех пяти моделей размерность головы — 128, а максимальный контекст — 131 072 токена. У небольшой модели кэш одного длинного запроса уже больше её весов: у Llama 3.1 8B — 17,18 ГБ против 8,0 ГБ.
Посчитать для своей модели: Llama 3.3 70B, 128 тысяч токенов, FP8 — в калькуляторе можно переключить кэш на FP8 и поменять число одновременных запросов.
Сколько это в картах
Итог по памяти = (веса + кэш × число запросов) × 1,2, где 1,2 — запас на работу движка. Для Llama 3.3 70B в FP8:
| Одновременных запросов по 128 тысяч | Кэш FP16: всего памяти | Минимум карт по 141 ГБ | Кэш FP8: всего памяти | Минимум карт по 141 ГБ |
|---|---|---|---|---|
| 1 | 136,2 ГБ | 1 | 110,4 ГБ | 1 |
| 4 | 290,8 ГБ | 3 | 187,7 ГБ | 2 |
«Минимум карт» — это деление по памяти. На практике модель делят на 1, 2, 4 или 8 карт, поэтому трём картам соответствует сервер на четыре.
Для Llama 3.1 8B в FP8 одна карта на 96 ГБ держит три запроса по 128 тысяч токенов (71,5 ГБ, 74 % памяти); четвёртый запрос доводит загрузку до 96 % — это «впритык».
Какие три оговорки нужно учесть?
- Предел модели. Контекст больше максимума модели калькулятор посчитает, но предупредит. У Phi-4 максимум — 16 384 токена; у Qwen3 32B — 32 768 без расширения и до 131 072 с методом YaRN (по карточке модели).
- Другое устройство внимания. У Gemma 3, gpt-oss и DeepSeek-R1 часть слоёв или весь кэш устроены иначе — кэш меньше. Для них калькулятор даёт оценку с погрешностью до двух раз.
- Кэш в FP8. Половина памяти — заметная экономия, но это изменение точности. Проверяйте ответы на своих документах.
Вывод
Длинный контекст стоит памяти: один запрос на 128 тысяч токенов у модели на 70 млрд параметров занимает почти 43 ГБ. Если таких запросов несколько одновременно, кэш занимает больше памяти, чем сама модель. Поэтому под работу с длинными документами берут карты с большим объёмом памяти или несколько карт.
Когда объём ясен, проверьте сервер целиком: «Запустится ли модель на этой GPU». Подробнее о памяти под модель — в гиде «Сколько GPU нужно под вашу модель».
Связанные материалы. Кэш контекста на конкретной модели — Llama 3.3 70B на сервере 4 × H200 NVL и DeepSeek-R1 на одном узле; сколько видеопамяти нужно другим моделям — таблица для 30 языковых моделей; общий порядок выбора — «Как выбрать GPU-сервер: семь шагов».