Коротко
- Программная среда GPU-сервера состоит из пяти слоёв: операционная система, драйвер NVIDIA, CUDA, контейнерная среда с планировщиком, мониторинг.
- На узле HGX с 8 GPU дополнительно проверяют шину NVLink, службу Fabric Manager и обмен между ускорителями тестами NCCL (nccl-tests).
-
Каждый слой ставят и проверяют по очереди; версии драйвера и CUDA подбирают по таблице совместимости NVIDIA и записывают.
- от операционной системы до мониторинга
- 5 слоёв
- в 8-GPU узле HGX: нужны NVLink и Fabric Manager
- 8 GPU
Из каких слоёв состоит программная среда GPU-сервера?
Сервер после монтажа — это железо без задач. Чтобы на нём заработала нейросеть, нужна цепочка программ, где каждая опирается на предыдущую. Её удобно представлять слоями, и порядок установки совпадает с порядком слоёв снизу вверх.
| Слой | Что ставят | Как проверяют |
|---|---|---|
| 1. Операционная система | Astra Linux, РЕД ОС или Ubuntu — по договору | Система загружается, сеть и диски работают |
| 2. Драйвер и CUDA | Драйвер NVIDIA и CUDA Toolkit — отдельные компоненты со своими версиями | Система видит все ускорители |
| 3. Контейнеры | Docker, containerd или Podman и NVIDIA Container Toolkit | Контейнер видит ускорители |
| 4. Планировщик | Kubernetes с плагином устройств NVIDIA или Slurm — если нужен кластер для нескольких пользователей | Тестовая задача получает ускоритель |
| 5. Мониторинг | NVIDIA DCGM и оповещения в вашу систему мониторинга | Видны температуры, ошибки памяти, загрузка |
Источник: документация NVIDIA (CUDA Installation Guide, Container Toolkit, DCGM), Kubernetes («Schedule GPUs») и Slurm («Generic Resource Scheduling»); список операционных систем — страница услуги «Монтаж и пусконаладка»; проверено 14.10.2026.
Почему драйвер и CUDA ставят отдельно и подбирают по версиям?
Драйвер NVIDIA связывает операционную систему с ускорителем. CUDA Toolkit — набор библиотек и инструментов, на которые опираются программы. Это разные компоненты со своими версиями: слишком старый драйвер не поддерживает новую CUDA, и наоборот приложение может требовать определённую CUDA. Поэтому пару версий подбирают по таблицам совместимости из документации NVIDIA и записывают в описание среды: это то, что понадобится при обновлении.
Что добавляется для узла на 8 ускорителей HGX?
В 8-GPU узле HGX ускорители связаны шиной NVLink через коммутаторы NVSwitch. Документация NVIDIA описывает службу Fabric Manager, которая настраивает коммутаторы NVSwitch так, что все ускорители узла связаны в одну сеть обмена памятью (memory fabric), и следит за состоянием каналов NVLink; у каждого ускорителя при этом остаётся своя память. На узлах B200 и B300 для настройки каналов и коммутаторов нужна ещё и служба NVLSM. После установки проверяют не только то, что все ускорители видны, но и что они обмениваются данными друг с другом: для этого используют библиотеку коллективных операций NCCL и её тесты nccl-tests.
Зачем нужны контейнеры и как они получают доступ к ускорителям?
Контейнер упаковывает программу вместе с нужными библиотеками, поэтому обновление одного сервиса не ломает другой. Чтобы контейнер видел ускорители, на сервер ставят NVIDIA Container Toolkit: по документации он поддерживает Docker, containerd, CRI-O и Podman. Без него контейнер запустится, но ускорителей не увидит.
Когда нужен Kubernetes, а когда Slurm?
Kubernetes запускает приложения в контейнерах. Чтобы он выдавал ускорители, ставят плагин устройств NVIDIA (или NVIDIA GPU Operator, который автоматизирует установку драйвера и Container Toolkit), а в описании задачи запрашивают ресурс nvidia.com/gpu. Slurm — планировщик очереди заданий: ускорители описываются как общий ресурс (GRES), и пользователи ставят задачи в очередь. Первый чаще выбирают для постоянных сервисов, например сервера модели, второй — для вычислительных кластеров с общим доступом. Если сервер один и пользователь один, планировщик не нужен.
Что передают администратору после настройки?
Список установленных программ и версий, файлы настроек, результаты проверок (ускорители видны, обмен между ними работает, тестовая нагрузка прошла), порядок обновления драйвера и CUDA и план отката. Без плана отката первое же обновление становится риском для работающих сервисов.
Вывод
Программную среду GPU-сервера ставят слоями и проверяют каждый слой, прежде чем перейти к следующему: так дефект находят там, где он возник. Для узлов HGX к проверке добавляют NVLink и обмен между ускорителями. Если вы хотите передать эту работу нам, она описана в услуге «Настройка ПО и драйверов»; запуск самой модели — в услуге «Внедрение LLM под ключ».
Связанные материалы. Как проверить, запустится ли модель на вашем сервере, — инструмент «Запустится ли модель»; порядок внедрения модели — «Как поставить языковую модель на свой сервер»; выбор между SXM и PCIe — «SXM или PCIe: что выбрать»; весь путь выбора — «Как выбрать GPU-сервер: семь шагов».
Что почитать дальше?
Следующие шаги того же пути описаны в материалах «Как проходит монтаж GPU-сервера», «Как поставить языковую модель на свой сервер».
