Коротко
- Кластер считают в четыре шага: число узлов под нагрузку, сеть между ними, хранилище, питание и охлаждение площадки.
- Узел 8 × B300 потребляет около 14,5 кВт и до 16,4 кВт в пике, а обычные залы рассчитаны на 5–8 кВт на стойку, поэтому площадка часто ограничивает кластер раньше, чем бюджет.
-
Сеть между узлами — InfiniBand или Ethernet 400–800G; число портов, уровней коммутаторов и кабелей считают вместе с узлами.
- типичное потребление узла 8 × B300, до 16,4 кВт в пике
- 14,5 кВт
- на стойку рассчитаны обычные залы
- 5–8 кВт
С какого вопроса начинают расчёт кластера?
С вопроса «хватит ли площадке питания и охлаждения». Один узел на восемь ускорителей B300 потребляет около 14,5 кВт и до 16,4 кВт в пике, а обычные залы рассчитаны на 5–8 кВт на стойку. Поэтому сначала выясняют, сколько узлов выдержит ваша серверная, и лишь потом выбирают сеть. Подробный расчёт для одного узла — в материале «Что нужно серверной под узел 8 × B300», для нескольких узлов — в материале «Сколько стоек и киловатт под кластер».
Какие шаги проходит расчёт?
| Шаг | Что решают | Чем считают |
|---|---|---|
| 1. Число и тип узлов | Сколько узлов нужно под модель и нагрузку; HGX на восемь ускорителей или серверы с картами PCIe | Калькуляторы памяти и пользователей, замеры |
| 2. Сеть | InfiniBand или Ethernet 400–800G, число портов и уровней коммутаторов, кабели | Калькулятор «Сеть кластера», документация производителя |
| 3. Хранилище | Объём и скорость под данные и контрольные точки обучения | Калькулятор «Хранилище» |
| 4. Питание и охлаждение | Мощность на узел и стойку, ток на фазу, резервирование | Калькулятор «Питание, тепло и стойка» |
Источник: порядок проектирования — страница услуги «Проектирование GPU-кластера»; характеристики сетевого оборудования — документация NVIDIA; проверено 14.10.2026.
Чем сеть между узлами отличается от сети внутри узла?
Внутри узла HGX восемь ускорителей связаны шиной NVLink через коммутаторы NVSwitch; документация NVIDIA описывает службу Fabric Manager, которая настраивает эту связность. Между узлами ускорители обмениваются данными по сети, и от её скорости зависит, насколько хорошо задача масштабируется. NVIDIA выпускает коммутаторы, кабели и трансиверы для InfiniBand и Ethernet со скоростью 400 и 800 Гбит/с. После монтажа обмен между всеми ускорителями проверяют тестами NCCL (nccl-tests), измерения заносят в протокол. Позиции сети собраны в категории «Сеть 400/800G».
Что ещё входит в проект кластера?
- Отдельные сети. Сеть управления (контроллеры BMC), сеть хранилища и сеть доступа пользователей разделяют; управление держат в изолированном сегменте.
- Размещение по стойкам. Мощность стойки ограничивает число узлов в ней; план размещения учитывает вес и глубину.
- Перечень проверок после монтажа. Обмен между ускорителями, тестовая нагрузка, температура и потребление.
- Спецификация. Оборудование, кабели, трансиверы — для закупки и для технического задания.
Как не ошибиться с питанием кластера?
Считайте по пиковому значению, а не по типичному: автоматы, линии и охлаждение должны выдержать худший момент. Для узла на B300 это 16,4 кВт. Два таких узла в одной стойке дают 32,8 кВт, это пограничная зона 20–50 кВт, где одного воздуха может не хватить; решение принимают по проекту площадки.
Вывод
Кластер начинается не с ускорителей, а с площадки: питание и охлаждение определяют, сколько узлов можно поставить. Дальше считают сеть, хранилище и проверки после монтажа. Если нужен готовый проект со схемой и спецификацией, он описан в услуге «Проектирование GPU-кластера»; монтаж — в услуге «Монтаж и пусконаладка».
Связанные материалы. Сравнение узлов HGX — HGX B300, B200 или H200; как выбрать сервер — «Как выбрать GPU-сервер: семь шагов»; разбор серверной под один узел — «Что нужно серверной под узел 8 × B300».
Что почитать дальше?
Следующие шаги того же пути описаны в материалах «Как проходит монтаж GPU-сервера», «Как перенести нагрузку из облака на свой сервер».
