NVIDIA 23 сентября 2026 года описала в техническом блоге NVIDIA Cluster Readiness Engine (NVCRE) — открытый контроллер для Kubernetes, который проверяет готовность GPU-кластера до запуска рабочих задач. Он запускает настоящие распределённые нагрузки на группах узлов с учётом топологии, измеряет результат и сообщает, какой узел не прошёл какой тест.
Задачу авторы формулируют так: «Кластер GPU может пройти все проверки состояния и всё равно не справиться с ИИ-нагрузкой» (перевод). Причиной может быть один медленный GPU, канал, который деградирует под нагрузкой, или настройка, направляющая трафик по медленному пути.
Если группа узлов не проходит тест, NVCRE делит её и повторяет проверку, пока не останется небольшой набор подозрительных узлов. Результат привязан к узлу и категории теста, например к обмену данными через библиотеку NCCL.