Серверы и ускорители NVIDIA для ИИ · поставка по России с документами +7 (495) 638-50-58 Перезвоните мне
Подобрать сервер Запросить КП

Для кого

Серверы с ускорителями NVIDIA для банков: модели в своём контуре

Поставляем банкам серверы для языковых моделей, поиска по документам и голосовых ассистентов — в собственный ЦОД, с воздушным охлаждением и документами для службы закупок.

  • Данные остаются в контуре банка
  • Воздушное охлаждение
  • Два-три варианта в одном предложении
4U

Коротко

  • Банки запускают языковые модели в собственном ЦОД, чтобы клиентские данные и банковская тайна не покидали контур.
  • Узел HGX на восемь B300 для банка охлаждается воздухом, но требует 14,5 кВт и до 16,4 кВт в пике — мощность стойки проверяют до заказа.
  • Для обоснования бюджета готовим два-три варианта в одном предложении — например, на H200 и на B300 — с понятной разницей между ними.

Что определяет выбор GPU-сервера для банка?

  • Данные нельзя выносить наружу

    Клиентские данные и банковская тайна — причина, по которой модели запускают в собственном контуре, а не в публичном облаке.

  • ЦОД рассчитан на воздух

    Узлы HGX на B300 высотой 8–10U охлаждаются воздухом. Вопрос не в типе охлаждения, а в мощности на стойку: такому узлу нужно 14,5 кВт и до 16,4 кВт в пике.

  • Бюджет защищают заранее

    Для обоснования нужны два-три варианта в одном предложении — например, на H200 и на B300 — с понятной разницей между ними.

Какие требования к безопасности и закупке учесть банку до расчёта?

Безопасность и эксплуатация

  • Закрытый контур: сервер без выхода в интернет, контроллер управления — в отдельном сегменте сети.
  • Шифрование дисков с моделями и данными; ключи восстановления передаются банку по акту.
  • Если банк — субъект критической информационной инфраструктуры: с 1 сентября 2024 года не допускается использование на значимых объектах КИИ программно-аппаратных комплексов, приобретённых с этой даты и не являющихся доверенными (п. 2 постановления № 1912 от 14.11.2023). Применимость к вашему объекту определяет ваш юрист.

Закупка и документы

  • Отвечаем в структуре вашего запроса: количество, модель ускорителя, память, диски, охлаждение, срок.
  • Два-три варианта в одном коммерческом предложении — для сравнения и обоснования бюджета.
  • Банки, в уставном капитале которых доля государственного участия превышает 50 %, и их дочерние общества закупают по 223-ФЗ; режим конкретной закупки указан в извещении. Подробнее — в разделе «Госзакупки».
  • С оборудованием передаются документы о подтверждении соответствия ТР ТС, паспорт и руководство на русском языке. Гарантию предоставляет ООО «ВИСТЛАН» на условиях договора.

Какой GPU-сервер взять банку на пилот, в отдел и на всю организацию?

МасштабУскорительКоличествоСервер в каталогеПитаниеДля чегоДействие
ПилотОдно подразделение, модель до 30 млрд параметров RTX PRO 6000 Blackwell, 96 ГБ 2–4 в узле 4 × RTX PRO 6000 · 2 × CPU · 4U Серверы на RTX PRO 6000 до 600 Вт на ускоритель, до 2,4 кВт на четыре ускорителя Ассистент и поиск по документам для одного подразделения. Запросить КП
ОтделСервис для нескольких подразделений H200 NVL, 141 ГБ 4 в узле, мост NVLink 4 × H200 NVL · 2 × CPU · 4U Серверы на H200 до 600 Вт на ускоритель, до 2,4 кВт на четыре ускорителя Модель 70 млрд параметров в FP8 на одной карте, длинный контекст. Запросить КП
КомпанияКрупные модели и много одновременных запросов B200, 180 ГБ, или B300, до 288 ГБ 8 на плате HGX 8 × B300 · 2 × EPYC · 8U Узлы HGX до 14,3 кВт на узел с B200; с B300 — типично 14,5 кВт, до 16,4 кВт в пике Узел высотой 8–10U с воздушным охлаждением; восемь ускорителей на общей шине. Запросить КП

Число пользователей на конфигурацию рассчитывается по вашим данным. Разницу между поколениями покажет инструмент «Сравнение GPU».

Коротко: у H200 — 141 ГБ на ускоритель, у B200 — 180 ГБ, у B300 — до 288 ГБ; в тесте MLPerf Inference v5.0 система из восьми B200 обошла систему из восьми H200 в 2,8–3 раза на модели Llama 2 70B.

Какие серверы из каталога подходят под эти условия?

По одной позиции на каждую ступень.

Серверы на RTX PRO 6000

4 × RTX PRO 6000 · 2 × CPU · 4U

Ускорители
4 × RTX PRO 6000, 96 ГБ
Видеопамять
384 ГБ
Процессоры
2 × CPU, не менее 32 ядер каждый
Высота и питание
4U · ускорители до 2,4 кВт
Охлаждение
воздушное

Модели до 235 млрд параметров в 8 битах

Наличие уточняется

Серверы на H200

4 × H200 NVL · 2 × CPU · 4U

Ускорители
4 × NVIDIA H200 NVL, 141 ГБ
Видеопамять
564 ГБ
Процессоры
2 × CPU, не менее 32 ядер каждый
Высота и питание
4U · ускорители до 2,4 кВт
Охлаждение
воздушное

Модели до 405 млрд параметров в 8 битах

Наличие уточняется

Узлы HGX

8 × B300 · 2 × EPYC · 8U

Ускорители
8 × NVIDIA B300, до 288 ГБ
Видеопамять
до 2,3 ТБ
Процессоры
2 × AMD EPYC 9575F, по 64 ядра
Высота и питание
8U · 14,5 кВт, до 16,4 в пике
Охлаждение
воздушное

Модели до 1 трлн параметров в 8 битах

Наличие уточняется

Как посчитать и проверить конфигурацию самому?

Точность весов
Контекст, токенов

87,9 ГБ видеопамяти: веса 70,6 ГБ, кэш контекста 2,68 ГБ, запас 20 %

  • 1 ×RTX PRO 6000
    96 ГБ
  • 2 ×H100
    80 ГБ
  • 1 ×H200
    141 ГБ
  • 1 ×B200
    180 ГБ
  • 1 ×B300
    270 ГБ в расчётах

Один запрос одновременно; в рамке — оптимальная по памяти карта каталога. Ориентир по памяти, не по скорости. NVIDIA и часть производителей серверов указывают 288 ГБ на ускоритель, часть — 270 ГБ; в расчётах берём 270 ГБ.

Ещё по теме

  • Сравнение GPUчем две-три карты отличаются по памяти, шине и мощности и какие модели поместятся на однойсравнение · 1 минута
  • Готова ли серверная к GPU-серверуоценка готовности площадки по 12 пунктам и список того, что доделатьквиз · 3 минуты

Открыть полный расчёт

Что чаще всего спрашивают банки про GPU-серверы?

Воздушное охлаждение для узла на B300 — это реально?

Да. Узлы HGX на B300 у производителей серверов — воздушные, высотой 8–10U; у сверенных моделей верхняя граница температуры воздуха на входе — 30 или 35 °C. Жидкостные исполнения — другие модели шасси.

Что такой узел потребует от ЦОД?

Типично 14,5 кВт, до 16,4 кВт в пике, две независимые линии питания, стойку глубиной от 1 200 мм. Сам узел — 8–10U, глубина около 950 мм, от 119 до 168 кг в зависимости от производителя.

Проверьте площадку в инструменте «Готова ли серверная».

Какие документы вы передаёте?

Документы о подтверждении соответствия ТР ТС 004/2011, ТР ТС 020/2011 и ТР ЕАЭС 037/2016, паспорт или формуляр, руководство на русском языке, гарантийные документы продавца.

Декларация на товары при импортной поставке передаётся по договору. Подробнее — «Документы при поставке».

Банк — субъект КИИ. Что это меняет?

Для значимых объектов КИИ действует запрет на использование программно-аппаратных комплексов, приобретённых с 1 сентября 2024 года и не являющихся доверенными.

Исключение — отсутствие произведённых в России доверенных аналогов, которое подтверждается заключением Минпромторга (п. 2 постановления № 1912; постановление № 1135).

Категорию объекта уточняют на старте; правовую оценку даёт ваш юрист.

Чья гарантия действует на оборудование?

Гарантию и сервисную поддержку предоставляет ООО «ВИСТЛАН» на условиях договора; гарантийные обязательства изготовителя на территории России могут не действовать. Срок и порядок замены указываются в спецификации.

Как быстро вы отвечаете на запрос?

В рабочее время. Срок подготовки предложения по сложной конфигурации называем в первом ответе; два варианта сводим в один документ.

Все вопросы и ответы о GPU-серверах

Опишите задачу — ответим конфигурацией и условиями

Опишите задачу в паре фраз — инженер подберёт конфигурацию. Ответим в рабочее время.

  • Что должно работать на сервере
  • Где он будет стоять
  • Как закупаете: коммерчески, по 223-ФЗ или по 44-ФЗ

Пн–Пт 9:00–18:00 мск

Форма работает при включённом JavaScript. Напишите на gpu@vistlan.ru или позвоните: +7 (495) 638-50-58.

Обновлено
Подобрать Запросить КП Чат