Серверы и ускорители NVIDIA для ИИ · поставка по России с документами +7 (495) 638-50-58 Перезвоните мне
Подобрать сервер Запросить КП

Сколько памяти и фрагментов нужно под RAG на ваших документах

Введите объём документов — посчитаем число фрагментов, память под векторную базу и длину запроса, который получит модель.

  • Результат сразу
  • Все допущения — в полях

Коротко

  • Калькулятор считает по объёму документов число фрагментов, память под векторы для поиска и длину запроса к модели.
  • Для 500 млн токенов, фрагментов по 512 токенов с перекрытием 64 и векторов размерности 1 024 получается 1 116 072 фрагмента и 4,57 ГБ векторов (6,86 ГБ с индексом).
  • Запрос к модели — 4 596 токенов.

Память под базу и сервер — к результату

Если поле заполнено, считаем по знакам.

Допущение для русского текста; поставьте своё.

Не больше половины фрагмента.

Число после названия — размерность вектора.

Зависит от выбранной векторной базы; значение по умолчанию — допущение.

Длины вопроса, инструкции и ответа

Допущения; меняйте под свою задачу.

По модели посчитаем видеопамяти под запрос с найденными фрагментами и подберём сервер.

Что в RAG требует видеокарт, а что — обычной памяти?

Векторная база живёт в обычной оперативной памяти; видеокарты нужны для ответа модели, и их число зависит от длины запроса и числа пользователей.

Посчитать память под модель с таким контекстом Посчитать число GPU под пользователей

Какие серверы каталога подойдут для RAG?

Под результат: 1 карта H200. Наличие и срок уточняем при запросе.

ближайшая конфигурация: 2 × H200 NVL (другая редакция — H200 NVL, карта PCIe; памяти на карту столько же)

Серверы на H200

2 × H200 NVL · 2 × CPU · 4U

Ускорители
2 × NVIDIA H200 NVL, 141 ГБ
Видеопамять
282 ГБ
Процессоры
2 × CPU, не менее 32 ядер каждый
Высота и питание
4U · ускорители до 1,2 кВт
Охлаждение
воздушное

Модели до 122 млрд параметров в 8 битах

Наличие уточняется

ближайшая конфигурация: 2 × H200 NVL — вариант этой позиции (другая редакция — H200 NVL, карта PCIe; памяти на карту столько же)

Серверы на H200

4 × H200 NVL · 2 × CPU · 4U

Ускорители
4 × NVIDIA H200 NVL, 141 ГБ
Видеопамять
564 ГБ
Процессоры
2 × CPU, не менее 32 ядер каждый
Высота и питание
4U · ускорители до 2,4 кВт
Охлаждение
воздушное

Модели до 405 млрд параметров в 8 битах

Наличие уточняется

ближайшая конфигурация: 8 × H200

Серверы на H200

8 × H200 · 2 × CPU · 8U

Ускорители
8 × NVIDIA H200, 141 ГБ
Видеопамять
1,1 ТБ
Процессоры
2 × Intel Xeon или AMD EPYC — по платформе
Высота и питание
8U · площадка — 15 кВт (DGX — до 10,2)
Охлаждение
воздушное

Модели до 753 млрд параметров в 8 битах

Наличие уточняется
Все серверы на H200

Объём базы — арифметика по вашим вводным; коэффициент индекса зависит от выбранной базы. Сервер — по памяти под один запрос; число GPU под ваших пользователей считают соседние калькуляторы. Расчёт — оценка по формуле и опубликованным данным на дату, указанную в источниках. Это не обязательство и не оферта. Точную конфигурацию определяет инженер по вашей нагрузке и проверяет тестом.

Как считаем: формула, источники, погрешность

Фрагментов — объём текста, делённый на размер фрагмента без перекрытия, с округлением вверх. Память под векторы — фрагменты × размерность × 4 байта; с индексом — умножить на коэффициент запаса. Запрос к модели — число фрагментов × размер фрагмента + вопрос + инструкция; нужный контекст — запрос + ответ.

Сервер: видеопамять под выбранную модель в 8 битах с нужным контекстом и одним запросом — той же формулой и тем же «оптимальным вариантом», что в калькуляторе памяти.

Размерности векторов — из описаний моделей на Hugging Face. Коэффициент индекса 1,5 — распространённое правило для векторных баз; первоисточник при подготовке открыть не удалось, поэтому коэффициент вынесен в поле ввода.

Чего калькулятор не считает: время индексации документов — надёжных публичных замеров для длинных фрагментов нет; память под модель эмбеддингов — она невелика и на выбор сервера не влияет.

Погрешность. Объём — арифметика; коэффициент индекса — допущение в поле ввода.

Данные справочников — на 06.10.2026.

Как посчитать сервер для RAG по своим документам?

Метод расчёта

Что считаем. Для базы знаний на своих документах: сколько получится фрагментов, сколько памяти займут векторы для поиска, какой длины будет запрос к модели и какой видеопамяти хватит для модели.

Фрагментов = объём текста ÷ (размер фрагмента − перекрытие), вверх до целого. Память под векторы = фрагменты × размерность × 4 байта; с индексом поиска — умноженная на коэффициент запаса. Запрос к модели = число фрагментов в запросе × размер фрагмента + вопрос + инструкция; нужный контекст = запрос + ответ.

Размерности векторов — из описаний моделей эмбеддингов на Hugging Face. Коэффициент индекса 1,5 — распространённое правило для векторных баз, поэтому он вынесен в поле ввода. Время индексации документов и память под модель эмбеддингов калькулятор не считает. Сервер подбирается тем же расчётом памяти, что и в калькуляторе памяти.

Разобранный пример

Объём документов
500 млн токенов
Фрагмент и перекрытие
512 токенов и 64 токена
Размерность вектора
1 024
По умолчанию
индекс ×1,5, 8 фрагментов в запросе, вопрос 200, инструкция 300, ответ 1 000 токенов
  1. Фрагментов: 500 000 000 ÷ (512 − 64) = 500 000 000 ÷ 448, вверх до целого — 1 116 072.
  2. Векторы: 1 116 072 × 1 024 × 4 байта = 4,57 ГБ; с индексом ×1,5 — 6,86 ГБ.
  3. Запрос к модели: 8 × 512 + 200 + 300 = 4 596 токенов.
  4. Нужный контекст: 4 596 + 1 000 = 5 596 токенов.

Результат. 1 116 072 фрагмента, 4,57 ГБ векторов (6,86 ГБ с индексом), запрос к модели — 4 596 токенов, нужный контекст — 5 596 токенов.

Типовые базы знаний: фрагменты, память и длина запроса черновая оценка

Типовые базы знаний: фрагменты, память и длина запроса (черновая оценка)
СлучайФрагментовВекторы, ГБС индексом, ГБЗапрос, токеновКонтекст, токеновПомещается в контекст модели
500 млн токенов, фрагмент 512 / перекрытие 64, вектор 1 0241 116 0724,576,864 5965 596—
50 млн токенов, фрагмент 1 000 / перекрытие 100, вектор 4 096, 8 фрагментов в запросе55 5560,911,378 5009 500да (Qwen3 32B)
5 000 млн токенов, фрагмент 512 / перекрытие 64, вектор 1 02411 160 71545,7168,574 5965 596—
10 млн токенов, фрагмент 256 / перекрытие 32, вектор 1 536, 20 фрагментов в запросе44 6430,270,415 6206 620да (YandexGPT 5 Lite 8B)
200 млн токенов, фрагмент 2 000 / перекрытие 200, вектор 2 560, 30 фрагментов в запросе111 1121,141,7160 50061 500нет (T-pro-it-2.1)

Источник: эталон расчёта сайта (контрольные примеры) и данные — параметры моделей, опубликованные замеры и оценки, проверено 06.10.2026.

Из эталона расчёта сайта (контрольные примеры tests.json); где фрагментов в запросе не указано — 8 по умолчанию. Первая строка совпадает с примером выше. Черновая оценка: объём — арифметика, коэффициент индекса — допущение.

Обновлено
Подобрать Запросить КП Чат