Коротко
- DeepSeek-R1 опубликована в FP8: веса — 684,5 ГБ, с запасом 20 % и запросом на 8 тысяч токенов — 822,1 ГБ.
- В FP8 модель помещается на узел 8 × H200 (73 % памяти), 8 × B200 (57 %) и 8 × B300 (38 %); на 8 × H100 и 8 × RTX PRO 6000 — нет.
- В NVFP4 веса — 385 ГБ, и модель помещается на 8 × RTX PRO 6000; формат работает только на ускорителях Blackwell.
- Помещается — не значит «быстро»: скорость проверяют калькулятором и нагрузочным тестом.
- весов DeepSeek-R1 в FP8
- 684,5 ГБ
- нужно с запасом 20 % при одном запросе на 8 тысяч токенов
- 822,1 ГБ
- памяти узла 8 × H200 занято в этом случае
- 73 %
- весов в NVFP4 — только для ускорителей Blackwell
- 385 ГБ
Какие исходные данные у DeepSeek-R1?
| Параметр | Значение |
|---|---|
| Модель | DeepSeek-R1: 684,49 млрд параметров, смесь экспертов, контекст до 163 840 токенов |
| Как опубликована | в FP8: файлы весов — 688,59 ГБ |
| Внимание | Multi-head Latent Attention: 61 слой, сжатый кэш 512 + 64 значения на слой |
| Варианты сервера | восемь ускорителей: H100 (80 ГБ), RTX PRO 6000 (96 ГБ), H200 (141 ГБ), B200 (180 ГБ), B300 (в расчётах 270 ГБ¹) |
¹ NVIDIA и часть производителей серверов указывают 288 ГБ на ускоритель, часть — 270 ГБ; в расчётах берём 270 ГБ.
Сколько памяти занимают веса DeepSeek-R1?
| Формат | Веса | Где работает |
|---|---|---|
| FP8 | 684,5 ГБ | все ускорители из списка |
| NVFP4 | 385,0 ГБ | только поколение Blackwell: RTX PRO 6000, B200, B300 |
Источник: репозиторий DeepSeek-R1 на Hugging Face (число параметров) и блог NVIDIA о формате NVFP4 (4,5 бита на параметр); полный список — в разделе «Источники»; проверено 07.10.2026.
В NVFP4 вес занимает 4,5 бита: 4-битное значение и общий масштаб на блок из 16 чисел.
Сколько памяти занимает кэш контекста DeepSeek-R1?
У моделей с Multi-head Latent Attention кэш на токен = число слоёв × (сжатое представление + позиционная часть) × 2 байта = 61 × (512 + 64) × 2 = 70 272 байта, около 68,6 КиБ. Это оценка: калькулятор помечает такие модели предупреждением о погрешности до двух раз.
| Нагрузка | Кэш |
|---|---|
| 1 запрос на 8 192 токена | 0,58 ГБ |
| 16 запросов по 32 768 токенов | 36,84 ГБ |
| 8 запросов по 131 072 токена | 73,69 ГБ |
Поместится ли DeepSeek-R1 на восемь ускорителей?
Итог = (веса + кэш) × 1,2. До 90 % памяти — «да», 90–100 % — «впритык», больше — «нет».
| Восемь ускорителей | Память | FP8, 1 × 8 192 (822,1 ГБ) | FP8, 8 × 131 072 (909,8 ГБ) | NVFP4, 8 × 131 072 (550,5 ГБ) |
|---|---|---|---|---|
| 8 × H100 | 640 ГБ | 128 % — нет | 142 % — нет | формат не поддерживается |
| 8 × RTX PRO 6000 | 768 ГБ | 107 % — нет | 118 % — нет | 72 % — да |
| 8 × H200 | 1 128 ГБ | 73 % — да | 81 % — да | формат не поддерживается |
| 8 × B200 | 1 440 ГБ | 57 % — да | 63 % — да | 38 % — да |
| 8 × B300 | 2 160 ГБ¹ | 38 % — да | 42 % — да | 25 % — да |
Проверить: 8 × H200 в FP8 и 8 × RTX PRO 6000 в NVFP4 с контекстом 128 тысяч. Память под свой контекст — в калькуляторе «Память GPU под модель».
Что расчёт не показывает?
- Скорость. Для DeepSeek-R1 в таблице NVIDIA TensorRT-LLM есть строка только для восьми B200 в NVFP4: 37 634 токена в секунду на систему при запросе и ответе по 1 000 токенов. Сравнить с другими узлами по этой таблице нельзя.
- Качество NVFP4. 4-битный формат экономит почти половину памяти, но часть качества теряется — проверяют на своих запросах.
- Связь между ускорителями. Модель делится на восемь частей, поэтому важна шина между ускорителями: у узлов HGX это NVLink через коммутатор на плате, у сервера на RTX PRO 6000 — шина PCIe.
Вывод
В FP8 DeepSeek-R1 помещается на один узел HGX с восемью H200, B200 или B300 — с запасом и под длинный контекст. В 4-битном формате её можно запустить на сервере 8 × RTX PRO 6000, но это компромисс по качеству и по связи между картами. Восемь H100 под эту модель в FP8 не подходят.
Узлы в каталоге: 8 × H200 (HGX), 8 × B200 (HGX), 8 × B300 на AMD EPYC, 8 × RTX PRO 6000.
Связанные материалы. Формулы расчёта — в статье «Как посчитать память GPU под модель»; кэш контекста подробно — в расчёте для 128 тысяч токенов; пример на модели поменьше — Llama 3.3 70B на сервере 4 × H200 NVL; память под другие модели — в таблице для 30 языковых моделей; порядок выбора целиком — «Как выбрать GPU-сервер: семь шагов».