Решение по задаче
Поставим сервер, на котором работает ассистент по вашим документам: языковая модель, модель эмбеддингов и поиск — на одном узле, без передачи документов наружу.
Коротко
RAG — это разбор документов, эмбеддинги, поиск и генерация ответа. Каждому этапу нужны свои ресурсы. Сервер, посчитанный только под языковую модель, отвечает медленно на большом архиве.
В каждый запрос подставляются найденные фрагменты документов. Контекст растёт, а вместе с ним память под KV-кэш у каждого пользователя.
Когда документы часто меняются, их нужно заново индексировать. Если под это нет отдельного ускорителя, переиндексация замедляет ответы пользователям.
Схема читается сверху вниз: приложение обращается к модели, модель работает на сервере, сервер стоит на площадке. Слабое место в любом слое ограничивает остальные.
Мы поставляем сервер и считаем, сколько памяти нужно модели, эмбеддингам и индексу. Прикладную часть — разбиение документов, подсказки, оценку качества ответов — делает ваша команда или партнёр.
Какой ускоритель, сколько их и какой сервер каталога взять на каждой ступени.
| Масштаб | Ускоритель | Количество | Сервер в каталоге | Питание | Что на этом работает | Действие |
|---|---|---|---|---|---|---|
| ПилотОдин отдел, модель до 30 млрд параметров | RTX PRO 6000 Blackwell, 96 ГБ | 2 в узле | 2 × RTX PRO 6000 · 2 × CPU · 2U Серверы на RTX PRO 6000 | до 600 Вт на ускоритель | 192 ГБ на двух картах: языковая модель на одной, эмбеддинги и реранкер — на второй. | Запросить КП |
| ОтделМодель около 70 млрд параметров, растёт число пользователей | RTX PRO 6000, 96 ГБ, или H200 NVL, 141 ГБ | 4 в узле | 4 × RTX PRO 6000 · 2 × CPU · 4U Серверы на RTX PRO 6000Серверы на H200 | до 600 Вт на ускоритель, до 2,4 кВт на четыре | H200 с 141 ГБ на карту берут под длинный контекст с подставленными фрагментами документов. | Запросить КП |
| КомпанияКрупные модели, большие архивы, много запросов | H200 или B200 на плате HGX | 8 в узле | 8 × H200 · 2 × CPU · 8U Узлы HGX | 8 × H200 — площадка 15 кВт (у системы NVIDIA DGX — до 10,2 кВт); 8 × B200 — до 14,3 кВт на узел | Модели, которые делятся между ускорителями: общая шина NVLink связывает восемь карт. | Запросить КП |
Числа пользователей и объёма документов в таблице нет: они рассчитываются по вашим данным — в калькуляторе «RAG: база знаний на своих документах».
Если RAG ставится рядом с существующей виртуализацией, сервер с ускорителями дополняет хосты общего назначения и не заменяет их.
Для сервера: Llama 3.3 70B Instruct в 8 битах с контекстом 5 596 токенов — около 86,9 ГБ видеопамяти на один запрос.
Из карт, серверы на которых есть в каталоге, оптимально 1 карта H200. На каждого одновременного пользователя добавляется кэш контекста.
Фрагменты по 512 токенов, восемь в запросе — значения калькулятора по умолчанию. Ориентир по памяти под один запрос, не по скорости.
Ещё по теме
По одной позиции на каждую ступень. Остальные — в классах каталога.
Серверы на RTX PRO 6000
Модели до 122 млрд параметров в 8 битах
Серверы на RTX PRO 6000
Модели до 235 млрд параметров в 8 битах
Серверы на H200
Модели до 753 млрд параметров в 8 битах
Сервер работает без выхода в интернет, контроллер управления — в отдельном сегменте сети, модели и документы — на зашифрованных дисках.
Векторной базе и индексу нужны быстрые NVMe-диски в сервере. Объём зависит от размера архива и считается вместе с памятью ускорителей.
До 600 Вт на каждый ускоритель плюс процессоры и диски. Серверные карты охлаждаются потоком воздуха через шасси, поэтому сервер ставят в стойку.
Подключение к каталогу пользователей, единому входу и мониторингу выполняется при пусконаладке — по договору.
Можно взять только нужное.
Веса — число параметров, умноженное на байты на параметр: в FP8 это около 27 ГБ и около 70 ГБ. К ним добавляют память под контекст и запас 20 %.
В RAG контекст длиннее обычного, поэтому запас под KV-кэш закладывают больше. Расчёт — в калькуляторе «Память GPU под модель».
Для небольшого архива эмбеддинги считаются на процессоре или на той же карте в фоне. Если документы обновляются часто, под индексацию выделяют отдельную карту — иначе она замедляет ответы пользователям.
Сервер ставится без выхода в интернет, контроллер управления выносится в изолированный сегмент, диски с моделями и документами шифруются. Данные остаются в вашей инфраструктуре.
Состав мер — на странице «Защита BMC и дисков».
FP8 ближе к качеству исходной модели. 4-битные форматы экономят память и дают больше токенов в секунду, но часть качества теряется. Формат выбирают после проверки на своих вопросах и документах.
Совместимость с Astra Linux, РЕД ОС и Ubuntu — обычный пункт технического задания. Для конкретной платформы её подтверждают по документации производителя.
Сервер, сборку и пусконаладку. Программный стек — движок инференса, векторную базу, прикладную часть — разворачивает ваша команда или партнёр; граница ответственности фиксируется в спецификации.
Да. Для закупок с ограничением подбираем российскую платформу из реестра Минпромторга с ускорителями NVIDIA. Подробно — в разделе «Госзакупки».
Опишите задачу в паре фраз — инженер подберёт конфигурацию. Ответим в рабочее время.
Пн–Пт 9:00–18:00 мск
Форма работает при включённом JavaScript. Напишите на gpu@vistlan.ru или позвоните: +7 (495) 638-50-58.
Дата проверки: 06.10.2026.
Проверяйте важное у инженера
Отвечает программа. Не пишите персональные данные; контакты — только в форме.
Политика обработкиКонтакты оставляйте в форме: в чат их писать не нужно. Перед отправкой я заменю их меткой.