Коротко
- Для модели на 70 млрд параметров нужно около 48 ГБ в QLoRA с 4-битной базой, 160 ГБ в LoRA и 1 200 ГБ при полном дообучении; для модели на 8 млрд — 6,9, 18,3 и 137 ГБ.
- В картах для 70 млрд параметров: 1, 2 и 13 карт RTX PRO 6000 (по 96 ГБ) или 1, 2 и 9 карт H200 (по 141 ГБ).
- Таблица оценочная: калькулятор показывает диапазон от −30 до +50 %, длинные примеры и большой батч требуют больше.
- LoRA для модели на 70 млрд параметров — 2 карты
- 160 ГБ
- полное дообучение 70 млрд параметров
- 1 200 ГБ
- на параметр — теоретический минимум полного дообучения
- 16 байт
- диапазон оценки памяти
- −30…+50 %
Чем отличаются три способа дообучения?
| Способ | Что меняется в модели | Где память уходит |
|---|---|---|
| Полное дообучение | все веса | вес, градиент и состояния оптимизатора для каждого параметра |
| LoRA | небольшая добавка при замороженных весах в 16 битах | вес модели; градиенты нужны только для добавки |
| QLoRA | та же добавка, но базовые веса хранятся в 8, 4 или 2 битах | вес в сжатом виде; меньше всего памяти |
Теоретический минимум для полного дообучения в смешанной точности с оптимизатором AdamW — 16 байт на параметр: 2 байта вес, 2 байта градиент, 12 байт состояния оптимизатора. Для модели на 70 млрд параметров это 1 120 ГБ, на 32 млрд — 512 ГБ, на 8 млрд — 128 ГБ.
Сколько памяти нужно для дообучения?
Калькулятор «Дообучение» берёт память из оценочной таблицы проекта LLaMA-Factory (авторы сами помечают значения как оценочные) для 7, 14, 30 и 70 млрд параметров. Между столбцами значения интерполируются линейно, до 7 млрд — пропорционально.
| Способ | 8 млрд, ГБ | 32 млрд, ГБ | 70 млрд, ГБ |
|---|---|---|---|
| QLoRA, база в 4 бита | 6,9 | 25,2 | 48 |
| QLoRA, база в 8 бит | 11,4 | 42 | 80 |
| LoRA | 18,3 | 68,8 | 160 |
| Полное, чистый bf16 | 68,6 | 315 | 600 |
| Полное, bf16/fp16 (смешанная точность) | 137,1 | 630 | 1 200 |
Источник: оценочная таблица памяти LLaMA-Factory (раздел Hardware Requirement) и формулы Transformer Math 101 (EleutherAI); полный список — в разделе «Источники»; проверено 12.10.2026.
Источник называет значения оценочными, поэтому калькулятор показывает диапазон от −30 до +50 % к каждому числу. Длинные примеры и большой батч требуют больше памяти, чем в таблице.
Сколько карт нужно для дообучения?
Число карт — память, делённая на память одной карты, с округлением вверх: у RTX PRO 6000 это 96 ГБ, у H200 — 141 ГБ. Ниже — оценка и число карт, если память окажется на 50 % выше оценки.
| Задача | Оценка памяти, ГБ | RTX PRO 6000: по оценке / при +50 % | H200: по оценке / при +50 % |
|---|---|---|---|
| Модель 70 млрд, QLoRA 4 бита | 48 | 1 / 1 | 1 / 1 |
| Модель 32 млрд, LoRA | 68,8 | 1 / 2 | 1 / 1 |
| Модель 70 млрд, LoRA | 160 | 2 / 3 | 2 / 2 |
| Модель 8 млрд, полное | 137,1 | 2 / 3 | 1 / 2 |
| Модель 32 млрд, полное | 630 | 7 / 10 | 5 / 7 |
| Модель 70 млрд, полное | 1 200 | 13 / 19 | 9 / 13 |
Модели на 8 и 32 млрд параметров в QLoRA и LoRA, а также на 70 млрд в QLoRA с 4-битной базой помещаются на одну карту любого из двух типов (для 32 млрд в LoRA на RTX PRO 6000 — по оценке, но не при +50 %). Полное дообучение модели на 70 млрд параметров уже требует нескольких серверов или узла HGX с большой памятью — см. следующий шаг.
Проверить: 70 млрд, LoRA — в калькуляторе выберите «Своя модель», 70 млрд параметров и способ LoRA.
Что из этого поместится в сервер каталога?
Сравнение по суммарной видеопамяти сервера (данные карточек каталога). Для узла на 8 × B300 — 2 160 ГБ: NVIDIA и часть производителей серверов указывают 288 ГБ на ускоритель, часть — 270 ГБ; в расчётах берём 270 ГБ.
| Сервер | Память | 70 млрд, LoRA (160, до 240) | 32 млрд, полное (630, до 945) | 70 млрд, полное, чистый bf16 (600, до 900) | 70 млрд, полное (1 200, до 1 800) |
|---|---|---|---|---|---|
| 4 × H200 NVL | 564 ГБ | да | нет | нет | нет |
| 8 × RTX PRO 6000 | 768 ГБ | да | по оценке да, при +50 % нет | по оценке да, при +50 % нет | нет |
| 8 × H200 (HGX) | 1 128 ГБ | да | да | да | нет |
| 8 × B200 (HGX) | 1 440 ГБ | да | да | да | по оценке да, при +50 % нет |
| 8 × B300 | 2 160 ГБ | да | да | да | да |
«Да» означает, что память сервера не меньше оценки, а при +50 % — не меньше и верхней границы. Таблица не оценивает остальное: скорость обмена между картами, способ разделения модели между ними, служебную память. У RTX PRO 6000 нет NVLink — между картами данные идут через PCIe, у H200 NVL есть мост NVLink, у H200 в HGX — NVLink 900 ГБ/с. Для распределённого дообучения это существенно, и по памяти этого не видно.
Как оценить время дообучения?
Число операций обучения оценивают по формуле ≈ 6 × параметры × токены датасета × эпохи (EleutherAI, Transformer Math 101). Чтобы перевести операции в часы, нужна доля паспортной производительности, которую реально использует карта, а проверенного источника для неё нет. Поэтому время считает только калькулятор «Дообучение»: в свёрнутом блоке «Время обучения» с плашкой «черновая оценка», и долю там задаёте вы.
Как выбирать
- Выберите способ: от него память отличается в разы (для 70 млрд параметров — 48, 160 или 1 200 ГБ).
- Посчитайте память для размера вашей модели в калькуляторе и прибавьте запас до 50 % — это верхняя граница таблицы.
- Сравните с памятью сервера и посмотрите, как соединены карты: если модель делится между несколькими, обмен между картами идёт по NVLink или по PCIe, и скорости у них разные.
- Проверьте оценку на малом датасете: фактическая память зависит от длины примеров и размера батча.
Вывод
Для модели на 70 млрд параметров память — около 48 ГБ в QLoRA с 4-битной базой, 160 ГБ в LoRA и 1 200 ГБ при полном дообучении. LoRA на такой модели помещается на 2 карты RTX PRO 6000 или H200; полное дообучение — на 13 и 9 карт соответственно. Все числа — оценка, калькулятор показывает диапазон от −30 до +50 %; перед заказом сервера её проверяют на своих данных. Подобрать конфигурацию можно в калькуляторе «Дообучение» или по запросу КП.
Связанные материалы. Память для запуска готовой модели считают иначе — «Как посчитать память GPU под модель»; три поколения узлов HGX, на которых делают полное дообучение, сравнивает материал «HGX B300, B200 или H200»; что такое сам GPU-сервер — в материале «Что такое GPU-сервер»; общий порядок выбора — «Как выбрать GPU-сервер: семь шагов».