Серверы и ускорители NVIDIA для ИИ · поставка по России с документами +7 (495) 638-50-58 Перезвоните мне
Подобрать сервер Запросить КП

Сеть для кластера: коммутаторы 400 и 800 Гбит/с

Сеть нужна кластеру из двух и более узлов; одиночному серверу она не нужна. Коммутаторы, кабели и число портов считаем вместе с узлами.

1U12
  1. Коммутатор кластера
  2. Узлы: по 8 портов на каждый
Гбит/с на порт
400 / 800
портов на узел HGX
8
порта у коммутатора
64 / 144
протокола: InfiniBand и Ethernet
2

Коротко

  • Сеть нужна, когда узлов два и больше и они вместе обучают одну модель: для узлов на B300 — коммутаторы 800 Гбит/с, для узлов на H200 и B200 — 400 Гбит/с. На узле HGX восемь портов.
  • У коммутаторов InfiniBand — 64 или 144 порта; протоколов два — InfiniBand и Ethernet. Медные кабели идут внутри стойки, оптика — между стойками.
  • Статус и срок — у каждой позиции.

Какие коммутаторы 400 и 800 Гбит/с есть в каталоге?

Сеть 400/800G

InfiniBand XDR · 800 Гбит/с

Для узлов
на B300, адаптеры 800 Гбит/с на плате
Порты
до 144 × 800 Гбит/с
Протокол
InfiniBand XDR
Высота и питание
по модели, в КП
Кабели
медь в стойке, оптика между стойками

Подходит для кластеров из двух и более узлов на B300

Наличие уточняется

Сеть 400/800G

InfiniBand NDR · 400 Гбит/с

Для узлов
на H200 и B200, адаптеры 400 Гбит/с
Порты
64 × 400 Гбит/с
Протокол
InfiniBand NDR
Высота и питание
по модели, в КП
Кабели
медь в стойке, оптика между стойками

Подходит для кластеров из узлов на H200 и B200

Наличие уточняется

Сеть 400/800G

Ethernet RoCE · 400/800 Гбит/с

Для узлов
на B300, B200 и H200
Порты
400 и 800 Гбит/с
Протокол
Ethernet с RoCE
Высота и питание
по модели, в КП
Кабели
медь в стойке, оптика между стойками

Подходит площадкам, где вся сеть построена на Ethernet

Наличие уточняется

Какие характеристики у коммутаторов 400 и 800 Гбит/с?

Данные карточек позиций одной таблицей.

Позиции класса «Сеть 400/800G»: для узлов, порты, протокол, высота и питание, кабели
InfiniBand XDR · 800 Гбит/сInfiniBand NDR · 400 Гбит/сEthernet RoCE · 400/800 Гбит/с
Для узловна B300, адаптеры 800 Гбит/с на платена H200 и B200, адаптеры 400 Гбит/сна B300, B200 и H200
Портыдо 144 × 800 Гбит/с64 × 400 Гбит/с400 и 800 Гбит/с
ПротоколInfiniBand XDRInfiniBand NDREthernet с RoCE
Высота и питаниепо модели, в КПпо модели, в КПпо модели, в КП
Кабелимедь в стойке, оптика между стойкамимедь в стойке, оптика между стойкамимедь в стойке, оптика между стойками

Источник: характеристики по данным производителей; перед поставкой сверяются со спецификацией.

Как выбрать коммутатор для GPU-кластера: InfiniBand или Ethernet?

  1. Какое поколение узловУзлы на B300 несут адаптеры 800 Гбит/с на плате. Узлы на H200 и B200 работают с адаптерами 400 Гбит/с.
  2. InfiniBand или EthernetInfiniBand — коммутаторы на 64 порта 400 Гбит/с или на 144 порта 800 Гбит/с. Ethernet с RoCE выбирают те, у кого вся сеть площадки построена на Ethernet.
  3. Сколько портовПо одному порту на ускоритель — восемь на узел, плюс порты для хранения и управления.
  4. Какие кабелиВнутри стойки обычно хватает медных кабелей, между стойками нужна оптика. Длины сверяем по каталогу кабелей под выбранный коммутатор.
  5. Когда сеть не нужнаОдин сервер или пара серверов без совместного обучения обходятся портами 2 × 25 Гбит/с.

Какой узел HGX выбрать: B300, B200 или H200 — чем они отличаются и кому что нужно

Что нужно кластеру от площадки: порты, кабели, стойка?

Проверьте до запроса — или пришлите данные площадки, проверим сами.

Порты
8 портов кластерной сети на узел плюс порты хранения и управления.
Кабели
Медь внутри стойки, оптика между стойками; длины считаем от задней панели серверов.
Стойка
Место под коммутаторы и кабельные органайзеры — в расчёте кластера.
Питание
По данным производителя модели коммутатора — в КП.

Посчитать питание и стойку Готова ли серверная →

Что чаще всего спрашивают про сеть для GPU-кластера?

Что такое NDR и XDR?

Поколения InfiniBand: NDR — 400 Гбит/с на порт, XDR — 800 Гбит/с. XDR нужен узлам на B300 с адаптерами 800 Гбит/с на плате; узлы на H200 и B200 работают на NDR.

Можно ли обойтись сетью Ethernet?

Да: Ethernet с технологией RoCE работает с теми же адаптерами. Выбор зависит от того, что уже стоит на площадке и с чем работает ваша команда.

Сколько портов нужно на один узел?

Восемь для сети кластера — по одному на ускоритель, два для хранения и управления и один порт удалённого управления. У узла на B300 восемь портов 800 Гбит/с уже на плате.

Нужна ли сеть кластера одному серверу?

Нет. Внутри узла ускорители общаются по NVLink, наружу достаточно 2 × 25 Гбит/с. Сеть кластера появляется со второго узла при совместном обучении.

Как посчитать число коммутаторов?

От числа портов и уровней сети: коммутаторы бывают на 64 порта 400 Гбит/с и на 144 порта 800 Гбит/с. Считаем вместе с узлами и кабельным журналом.

Можно ли включить сеть в один договор с серверами?

Да: узлы, коммутаторы, кабели и монтаж идут одной спецификацией.

Кто даёт гарантию на оборудование?

Гарантию и сервисную поддержку предоставляет ООО «ВИСТЛАН» на условиях договора: срок и порядок замены фиксируются в спецификации. Гарантийные обязательства производителя на территории РФ могут не действовать.

Все вопросы и ответы о GPU-серверах

Запросить КП или задать вопрос

Опишите задачу в паре фраз — инженер подберёт конфигурацию. Ответим в рабочее время.

Пн–Пт 9:00–18:00 мск

Форма работает при включённом JavaScript. Напишите на gpu@vistlan.ru или позвоните: +7 (495) 638-50-58.

Обновлено
Подобрать Запросить КП Чат