Коротко
- Внедрение языковой модели на своём сервере проходит пять этапов: задача, выбор модели и расчёт памяти, установка сервера инференса, проверка на ваших вопросах, передача администраторам.
- Память считают как веса плюс память под контекст (KV-кэш) с запасом 20 %; ошибку здесь исправлять дороже всего, потому что обнаруживается после покупки.
-
Программы подключаются через OpenAI-совместимый интерфейс, поэтому обычно меняются только адрес и ключ.
- от задачи до передачи администраторам
- 5 этапов
- запас памяти сверх весов и контекста
- 20 %
Что значит «поставить модель на свой сервер»?
Языковая модель — это набор файлов с числами (весами) и программа, которая умеет ими пользоваться. «Поставить на свой сервер» значит загрузить веса в память ускорителей вашего GPU-сервера и открыть для ваших сотрудников и программ сетевой интерфейс, по которому они задают вопросы. Документы при этом не покидают вашу сеть, пока вы сами не откроете доступ наружу.
Для запуска нужны три вещи: сервер с достаточным объёмом видеопамяти, программная среда (драйвер NVIDIA, CUDA и контейнеры) и сервер инференса — программа, которая принимает запросы. Один из распространённых серверов инференса — vLLM; разработчики описывают его как библиотеку для инференса и обслуживания языковых моделей.
Какие этапы проходит внедрение?
| Этап | Что делают | Что получаете |
|---|---|---|
| 1. Задача | Уточняют, что должен уметь ассистент, кто им пользуется и какие данные нельзя выпускать из контура | Требования одним листом |
| 2. Модель и память | Выбирают модель и точность, считают память под веса и контекст | Расчёт и выбор конфигурации |
| 3. Установка | Ставят сервер инференса, настраивают службы, доступ и журналы | Работающий интерфейс |
| 4. Проверка | Прогоняют набор реальных вопросов, замеряют скорость и число одновременных пользователей | Отчёт проверки |
| 5. Передача | Передают руководство, ключи и учётные данные, проводят инструктаж | Руководство и акт |
Источник: порядок работ услуги «Внедрение LLM под ключ»; устройство сервера инференса — документация vLLM; проверено 14.10.2026.
Как считают память под модель?
Память складывается из трёх частей: веса модели, память под контекст (кэш ключей и значений, KV-кэш) и запас. Для весов есть простая оценка: число параметров, умноженное на размер одного числа в байтах. Модель на 70 млрд параметров в 8-битном формате занимает около 70 ГБ только под веса; контекст и запас добавляются сверху. Запас в расчётах сайта — 20 %.
Контекст растёт с длиной запроса и числом одновременных пользователей, поэтому два сервера с одинаковой моделью могут вместить разное число людей. Подробный разбор формул — в материале «Сколько GPU нужно под модель: VRAM и KV-кэш», цифры для длинного контекста — в материале про 128 тысяч токенов. Для своей модели посчитайте в калькуляторе «Видеопамять под модель».
Как подключить свои программы к модели?
Сервер vLLM предоставляет HTTP-интерфейс, совместимый с интерфейсом OpenAI: в документации перечислены запросы завершения текста (/v1/completions) и чата (/v1/chat/completions). Если ваша программа уже умеет обращаться к такому интерфейсу, обычно достаточно сменить адрес сервера и ключ доступа. Это нужно проверить на вашей программе: у отдельных параметров запросов есть ограничения, которые документация описывает отдельно.
Доступ ограничивают по сети и ключам, а на сервере включают журналы. Поиск по вашим документам (RAG) — отдельное расширение; его описание — на странице «Корпоративный RAG».
Как проверить, что модель подходит для ваших задач?
Проверку строят на ваших вопросах, а не на чужих тестах. Собирают набор реальных запросов, прогоняют их через модель и оценивают ответы вместе с теми, кто будет ею пользоваться. Параллельно замеряют скорость ответа и число одновременных пользователей при вашей длине запросов.
Если результат хуже ожидаемого, меняют модель или формат весов и повторяют прогон на том же наборе вопросов. Тогда сравнение честное: разница не в вопросах, а в модели.
Что передают администраторам?
Администраторы получают письменное руководство: как запустить, остановить и обновить сервис, куда смотреть в журналах, как вернуться к прежней версии модели. Ключи и учётные данные передаются по акту. Подробности о передаче знаний — в услуге «Инструктаж администраторов».
Вывод
Внедрение модели — это не загрузка файлов, а пять последовательных этапов, главный из которых — расчёт памяти до покупки сервера. Если вы ещё выбираете конфигурацию, начните с решения «Инференс LLM» и расчёта; если сервер уже есть, переходите к этапу установки и проверки.
Связанные материалы. Выбор класса сервера — «Как выбрать GPU-сервер: семь шагов»; что считать на этапе покупки — «Сколько GPU нужно под модель»; подготовка программной среды — «Настройка ПО и драйверов».
Что почитать дальше?
Следующие шаги того же пути описаны в материалах «Как готовят GPU-сервер к работе», «Как перенести нагрузку из облака на свой сервер».
