Глоссарий: термины GPU-серверов простыми словами

Ускоритель NVIDIA поколения Blackwell: 180 ГБ памяти в узлах HGX, шина NVLink на 1,8 ТБ/с. В сервере — 1 000 Вт на ускоритель, предел чипа — до 1 200 Вт.

Доработка B200: до 288 ГБ памяти на ускоритель и встроенная в плату сеть 800G. Поставляется узлом на восемь ускорителей.

Поколение ускорителей NVIDIA: B200, B300 и RTX PRO 6000 Blackwell. В нём появился 4-битный формат чисел FP4.

Готовая система NVIDIA с фиксированной конфигурацией. Её паспортное потребление служит ориентиром для серверов на той же плате HGX.

Ускоритель NVIDIA поколения Hopper с 80 ГБ памяти. Узел из восьми H100 потребляет до 10,2 кВт.

Ускоритель NVIDIA поколения Hopper со 141 ГБ памяти и мощностью до 700 Вт. Вариант H200 NVL — карта для обычного слота.

Плата NVIDIA с ускорителями, связанными шиной NVLink: у H100 и H200 — на четыре или восемь ускорителей, у B200 и B300 — на восемь. Производители серверов ставят её в свои шасси и добавляют процессоры, память, диски и сеть.

Поколение ускорителей NVIDIA, к которому относятся H100 и H200.

Стойка из 72 ускорителей с жидкостным охлаждением, объединённых одной шиной NVLink. Это другой класс объектов, чем сервер на восемь ускорителей.

Шина прямой связи между ускорителями: 900 ГБ/с у H200, 1,8 ТБ/с у B200 и B300. Нужна, когда одна модель делится между несколькими ускорителями.

Коммутатор шины NVLink. Объединяет все восемь ускорителей узла HGX в один домен, в котором они работают как одно устройство.

Ускоритель в виде карты для обычного слота сервера: RTX PRO 6000, H100 NVL, H200 NVL. Таких карт в сервере от одной до восьми.

Карта NVIDIA с 96 ГБ памяти с коррекцией ошибок и мощностью до 600 Вт. Ставится в обычный слот, шины NVLink у неё нет.

Модуль ускорителя для платы HGX: у H100 и H200 — платы на четыре или восемь ускорителей, у B200 и B300 — на восемь. В обычный слот сервера он не ставится.

Следующее поколение ускорителей NVIDIA: 288 ГБ памяти HBM4 на ускоритель. Сейчас поставляется стойками на 72 ускорителя.

Перемычка, которая связывает шиной NVLink две или четыре карты H200 NVL в обычном сервере.

Два способа указать производительность ускорителя: без учёта разрежённости и с ней. Рядом с числом всегда нужна пометка, какое оно.

Форматы чисел с половинной точностью: 2 байта на параметр модели. Модель на 70 млрд параметров занимает в них около 140 ГБ.

4-битный формат чисел: полбайта на параметр. Вдвое экономит память по сравнению с FP8; часть качества ответа теряется.

8-битный формат чисел: 1 байт на параметр модели. Модель на 70 млрд параметров занимает в нём около 70 ГБ.

Память карты RTX PRO 6000: 96 ГБ с коррекцией ошибок. Она медленнее HBM, зато карта ставится в обычный сервер.

Быстрая многослойная память ускорителей для ЦОД: 141 ГБ у H200, 180 ГБ у B200, до 288 ГБ у B300.

Память под контекст: модель хранит промежуточные данные по каждому токену каждого запроса. Чем длиннее контекст, тем меньше одновременных сессий.

Память ускорителя. В ней лежат веса модели и данные контекста каждого запроса — от её объёма зависит, какая модель поместится.

Перевод весов модели в формат с меньшим числом бит. Памяти нужно меньше, скорость выше, но качество ответа проверяют на своих запросах.

Поиск по своим документам с ответом языковой модели: модель получает найденные фрагменты и отвечает по ним.

Два способа занять несколько ускорителей: разделить одну модель между ними (нужна шина NVLink) или запустить на каждом свою копию.

Технология, которая делит ускоритель между виртуальными машинами. На ней строят виртуальные рабочие места с графикой.

Задержка между отправкой запроса и началом ответа. Её видит пользователь; она растёт, когда сервер перегружен.

Программа, которая исполняет модель на ускорителях и распределяет запросы. От движка зависит скорость на одном и том же сервере.

Настройка готовой модели на своих данных. Требует больше памяти, чем запуск той же модели.

Работа обученной модели: она получает запрос и выдаёт ответ. Главные ограничения — объём и скорость памяти ускорителя.

Сколько токенов модель учитывает в одном запросе: вопрос, история диалога, документы. Под контекст нужна память сверх весов модели.

Единица текста для языковой модели: слово или его часть. В токенах измеряют длину запроса, контекст и скорость ответа.

Скорость, с которой сервер выдаёт текст. Зависит от длины запроса и ответа, точности и движка; сравнивать можно только строки одного замера.

Контроллер удалённого управления сервером: включение, датчики, консоль. Его выносят в отдельный сегмент сети.

Сетевые адаптеры NVIDIA: ConnectX-7 — 400G, ConnectX-8 — 800G. Восемь портов ConnectX-8 встроены в плату HGX B300.

Формат NVMe-накопителей с горячей заменой, который ставят в узлы HGX.

Сеть для кластеров из нескольких узлов. Поколение NDR работает на 400G, XDR — на 800G.

Разъёмы сетевых портов: OSFP — у портов 800G, QSFP112 — у портов 200G и 400G. От разъёма зависит выбор кабелей и трансиверов.

Расчётная мощность ускорителя: до 700 Вт у H200, 1 000 Вт у B200 в сервере (предел чипа — до 1 200 Вт), 1 100 Вт у B300 в воздушном шасси.

Отвод тепла жидкостью через пластины на чипах. Нужно, когда воздух не справляется с мощностью стойки.

Мощность, которую сервер берёт от сети: до 10,2 кВт с восемью H100, до 14,3 кВт с B200, типично 14,5 кВт и до 16,4 кВт в пике с B300.

Поток воздуха через шасси сервера. Серверные ускорители без собственных вентиляторов охлаждаются только им.

Схема, при которой часть блоков питания — резерв. Сумма мощностей блоков поэтому больше потребления сервера.

Федеральный закон № 223-ФЗ от 18.07.2011 о закупках отдельных видов юридических лиц: госкомпании, их дочерние общества, учреждения, унитарные предприятия.

Федеральный закон № 44-ФЗ от 05.04.2013 о контрактной системе: по нему закупают государственные и муниципальные заказчики.

Если на закупку с ограничением подана и признана соответствующей заявка с товаром российского происхождения, заявки с иностранным товаром отклоняются (пп. «а» п. 2 ч. 4 ст. 14 44-ФЗ).

Короткая процедура закупки по 44-ФЗ. До 31.12.2027 её можно проводить при начальной цене контракта не более двадцати миллионов рублей (ч. 87 ст. 112 44-ФЗ).

Объект критической информационной инфраструктуры, для которого действуют требования о доверенных программно-аппаратных комплексах (постановление № 1912 от 14.11.2023).

Каталог товаров, работ и услуг для закупок по 44-ФЗ. Заказчик описывает объект закупки по позиции каталога.

Начальная (максимальная) цена контракта. Заказчик обосновывает её до публикации закупки, в том числе ценовыми предложениями поставщиков.

Классификатор продукции. Серверы — коды 26.20.14 и 26.20.15; для вычислительных платформ с ускорителями искусственного интеллекта есть код 26.20.14.170.

Постановление Правительства РФ от 23.12.2024: приложение № 1 — запрет, приложение № 2 — ограничение. Серверы включены в приложение № 2, позиции 198 и 199.

Реестр, номер записи в котором подтверждает российское происхождение товара (пп. «а» п. 3 постановления № 1875).

Российский сервер, включённый в реестр российской промышленной продукции. Ускорители в нём иностранные, а товаром российского происхождения признаётся сервер.

Документ с характеристиками закупаемого сервера. По 44-ФЗ объект описывают характеристиками с минимальными и максимальными значениями.

Документ с конфигурацией сервера, условиями и сроком действия. Информация на сайте публичной офертой не является.

Документы о соответствии требованиям ТР ТС 004/2011, ТР ТС 020/2011 и ТР ЕАЭС 037/2016: безопасность, электромагнитная совместимость, ограничение опасных веществ.

Документ с результатами проверки сервера под нагрузкой. Тест по согласованному протоколу — услуга по договору.