Справочник · 30 моделей · проверено 06.10.2026

Сколько видеопамяти нужно языковым моделям: таблица

Запросить КП на сервер Посчитать свою модель

Коротко

Таблица считает память GPU для 30 открытых языковых моделей: веса в FP16, FP8 и 4 битах, KV-кэш контекста и запас 20 %.
Пример: Llama 3.3 70B в FP8 с контекстом 8 192 токена — 87,9 ГБ, это одна карта H200 (141 ГБ) или RTX PRO 6000 (96 ГБ).
Число параметров — по сведениям о весах на Hugging Face, слои и KV-головы — из config.json моделей, проверено 06.10.2026.

Сколько видеопамяти нужно 30 языковым моделям?

Память GPU под 30 языковых моделей, ГБ: веса, KV-кэш и число карт (контекст 8 192 токена, один запрос)
Модель	Параметры, млрд	Веса FP16, ГБ	Веса FP8, ГБ	Веса 4 бита, ГБ	KV-кэш на 8 192 токена, ГБ	Итог FP8 с запасом 20 %, ГБ	H200 (141 ГБ), карт	B200 (180 ГБ), карт	RTX PRO 6000 (96 ГБ), карт
Llama 3.1 8B Instruct	8	16,1	8	4	1,07	10,9	1	1	1
Llama 3.3 70B Instruct	70,6	141,1	70,6	35,3	2,68	87,9	1	1	1
Llama 3.1 405B Instruct	405,9	811,7	405,9	202,9	4,23	492,1	4	3 (4)	6 (8)
Qwen3 8B	8,2	16,4	8,2	4,1	1,21	11,3	1	1	1
Qwen3 14B	14,8	29,5	14,8	7,4	1,34	19,3	1	1	1
Qwen3 32B	32,8	65,5	32,8	16,4	2,15	41,9	1	1	1
Qwen3 235B-A22B (MoE)	235,1	470,2	235,1	117,5	1,58	284	3 (4)	2	3 (4)
Mistral Small 3.2 24B	24	48	24	12	1,34	30,4	1	1	1
Mistral Large 2411 (123B)	122,6	245,2	122,6	61,3	2,95	150,7	2	1	2
Phi-4 (14B)	14,7	29,3	14,7	7,3	1,68	19,6	1	1	1
T-lite-it-2.1 (8B)	8,2	16,4	8,2	4,1	1,21	11,3	1	1	1
T-pro-it-2.1 (32B)	32,8	65,5	32,8	16,4	2,15	41,9	1	1	1
YandexGPT 5 Lite 8B	8	16,1	8	4	1,07	10,9	1	1	1
Gemma 3 27B	27,4	54,9	27,4	13,7	1,11 *	34,2	1	1	1
Gemma 4 12B	12	23,9	12	6	0,47 *	14,9	1	1	1
Gemma 4 26B-A4B (MoE)	25,8	51,6	25,8	12,9	0,38 *	31,4	1	1	1
Gemma 4 31B	31,3	62,5	31,3	15,6	1,51 *	39,3	1	1	1
gpt-oss-20b	20,9	41,8	20,9	10,5	0,2 *	25,3	1	1	1
gpt-oss-120b	116,8	233,7	116,8	58,4	0,31 *	140,6	1	1	2
Qwen3.5 9B	9,7	19,3	9,7	4,8	0,27 *	11,9	1	1	1
Qwen3.8 27B	27,8	55,6	27,8	13,9	0,54 *	34	1	1	1
Qwen3.6 35B-A3B (MoE)	36	71,9	36	18	0,17 *	43,3	1	1	1
AliceAI Foundation 80B-A3B (MoE)	81,3	162,6	81,3	40,6	0,2 *	97,8	1	1	2
DeepSeek-R1 (671B)	684,5	1 369	684,5	342,2	0,58 *	822,1	6 (8)	5 (8)	9 (16)
DeepSeek-V3.2	685,4	1 370,7	685,4	342,7	0,58 *	823,1	6 (8)	5 (8)	9 (16)
Kimi K2 Instruct	1 026,4	2 052,8	1 026,4	513,2	0,58 *	1 232,4	9 (16)	7 (8)	13 (16)
GLM-5.3	753,3	1 506,7	753,3	376,7	0,74 *	904,9	7 (8)	6 (8)	10 (16)
Mistral Small 4 (119B)	119,4	238,8	119,4	59,7	0,19 *	143,5	2	1	2
GigaChat 3.1 10B-A1.8B (MoE)	11,5	23	11,5	5,7	0,25 *	14,1	1	1	1
GigaChat 3.5 432B-A28B Reasoning (MoE)	438,1	876,2	438,1	219	0,38 *	526,2	4	3 (4)	6 (8)

Источник: сведения о весах (число параметров) и config.json моделей на Hugging Face (ссылки на каждую модель — в разделе «Источники»), проверено 06.10.2026. Один запрос, KV-кэш в FP16, запас 20 %; итог и число карт — для FP8. В скобках — на сколько карт движок делит модель на практике (1, 2, 4, 8…), если число больше минимума. * — оценка: у модели нестандартное внимание, погрешность этой части — до двух раз. Название модели — ссылка на калькулятор с её параметрами.

Как читать таблицу: что такое веса, KV-кэш и запас?

Что считаем. Память под модель складывается из весов и KV-кэша — запомненного контекста каждого запроса. К сумме прибавляется запас на служебные нужды движка.

Веса = число параметров × бит на параметр ÷ 8. KV-кэш одного запроса = 2 × слои × KV-головы × размер головы × байт на значение × длина контекста; он умножается на число одновременных запросов. У моделей с нестандартным вниманием (скользящее окно, линейное внимание, сжатый кэш MLA) кэш считается по своей схеме, поэтому для них это оценка с большей погрешностью.

Итог = (веса + KV-кэш) × 1,2. Число карт = итог ÷ память карты, вверх до целого; на практике движки делят модель на 1, 2, 4, 8… карт, и в расчёте показаны оба числа. 1 ГБ = 10⁹ байт. Скорость ответа расчёт не определяет — только поместится ли модель.

Сколько памяти нужно Llama 3.3 70B Instruct?

Llama 3.3 70B Instruct в FP8 с контекстом 8 192 токена и одним запросом занимает 87,9 ГБ: веса 70,6 ГБ, KV-кэш 2,68 ГБ и запас 20 %. Карт нужно: H200 (141 ГБ) — 1, B200 (180 ГБ) — 1, RTX PRO 6000 (96 ГБ) — 1.

В FP16 — 172,6 ГБ, в 4 битах — 45,6 ГБ.

Свой расчёт для Llama 3.3 70B Instruct — в калькуляторе памяти →

Сколько памяти нужно Qwen3 32B?

Qwen3 32B в FP8 с контекстом 8 192 токена и одним запросом занимает 41,9 ГБ: веса 32,8 ГБ, KV-кэш 2,15 ГБ и запас 20 %. Карт нужно: H200 (141 ГБ) — 1, B200 (180 ГБ) — 1, RTX PRO 6000 (96 ГБ) — 1.

В FP16 — 81,2 ГБ, в 4 битах — 22,2 ГБ.

Свой расчёт для Qwen3 32B — в калькуляторе памяти →

Сколько памяти нужно Qwen3.8 27B?

Qwen3.8 27B в FP8 с контекстом 8 192 токена и одним запросом занимает 34 ГБ: веса 27,8 ГБ, KV-кэш 0,54 ГБ и запас 20 %. Карт нужно: H200 (141 ГБ) — 1, B200 (180 ГБ) — 1, RTX PRO 6000 (96 ГБ) — 1.

В FP16 — 67,3 ГБ, в 4 битах — 17,3 ГБ.

У модели нестандартное внимание: KV-кэш — оценка по полям config.json, погрешность этой части — до двух раз.

Свой расчёт для Qwen3.8 27B — в калькуляторе памяти →

Сколько памяти нужно DeepSeek-R1 (671B)?

DeepSeek-R1 (671B) в FP8 с контекстом 8 192 токена и одним запросом занимает 822,1 ГБ: веса 684,5 ГБ, KV-кэш 0,58 ГБ и запас 20 %. Карт нужно: H200 (141 ГБ) — 6 (на практике 8), B200 (180 ГБ) — 5 (на практике 8), RTX PRO 6000 (96 ГБ) — 9 (на практике 16).

В FP16 — 1 643,5 ГБ, в 4 битах — 411,4 ГБ.

У модели нестандартное внимание: KV-кэш — оценка по полям config.json, погрешность этой части — до двух раз.

Свой расчёт для DeepSeek-R1 (671B) — в калькуляторе памяти →

Сколько памяти нужно gpt-oss-120b?

gpt-oss-120b в FP8 с контекстом 8 192 токена и одним запросом занимает 140,6 ГБ: веса 116,8 ГБ, KV-кэш 0,31 ГБ и запас 20 %. Карт нужно: H200 (141 ГБ) — 1, B200 (180 ГБ) — 1, RTX PRO 6000 (96 ГБ) — 2.

В FP16 — 280,8 ГБ, в 4 битах — 70,5 ГБ.

Веса модели опубликованы в 4-битном формате (65,25 ГБ на диске): ориентир — строка «4 бита», 70,5 ГБ — одна карта H200, B200 или RTX PRO 6000.

У модели нестандартное внимание: KV-кэш — оценка по полям config.json, погрешность этой части — до двух раз.

Свой расчёт для gpt-oss-120b — в калькуляторе памяти →

Что значит «4 бита» в таблице?

В таблице «4 бита» — это режим «INT4 / AWQ / GPTQ 4 бита»: 4 бита на параметр (номинал; реальные файлы на 5–15 % больше из-за слоёв, оставленных в FP16).

Формат NVFP4 (4,5 бита на параметр) работает только на ускорителях поколения Blackwell: B200, B300, RTX PRO 6000. В таблицу он не входит, но есть в калькуляторе.

Почему у MoE-моделей память считается по всем параметрам?

MoE: 235 млрд всего, 22 млрд активных; память считается по всем параметрам. Qwen3 235B-A22B (MoE): 284 ГБ в FP8 с контекстом 8 192 токена; карт нужно — H200 — 3 (4), B200 — 2, RTX PRO 6000 — 3 (4).

Что делать, если нужной модели, контекста или числа запросов нет в таблице?

Таблица считает один запрос с контекстом 8 192 токена и KV-кэшем в FP16. Другую модель, длину контекста, число одновременных запросов и точность кэша задайте в калькуляторе памяти: он считает теми же функциями, что и эта таблица.

Источники

Число параметров — поле safetensors.total API Hugging Face; число слоёв и KV-голов, длина контекста — из config.json репозитория модели, проверено 06.10.2026.

Формулы:

Запросить КП под вашу модель

Назовите модель, точность и число пользователей — инженер подберёт конфигурацию. Ответим в рабочее время.

Модель и точность весов
Длина контекста и число одновременных запросов
Какой класс сервера рассматриваете

Пн–Пт 9:00–18:00 мск

Форма работает при включённом JavaScript. Напишите на gpu@vistlan.ru или позвоните: +7 (495) 638-50-58.

Обновлено 06.10.2026