Red Hat AI 3.5: как Red Hat предлагает превратить ИИ-пилоты в управляемую инфраструктуру

Red Hat объявила об общедоступности Red Hat AI 3.5 — обновления корпоративной ИИ-платформы, рассчитанного на перевод ИИ из стадии разрозненных пилотов в режим управляемого, наблюдаемого и многопользовательского сервиса в гибридной инфраструктуре. Основная идея релиза — связать проверку доверия к модели до запуска, эффективную работу с общими GPU и воспроизводимое развёртывание приложений и инференса. 168

Проверка моделей до выхода в продуктив

Центральным элементом стал EvalHub, доступный в общем режиме. Он предназначен для автоматизированного, ориентированного на риски тестирования безопасности и создания проверяемых документов о соответствии для моделей, созданных или адаптированных заказчиком, RAG-конвейеров и ИИ-агентов. В частности, команды могут до развёртывания проверять подверженность prompt injection и jailbreak-атакам. 138

Red Hat также расширила каталог более чем на 20 валидированных моделей от поставщиков, включая Google, NVIDIA и Alibaba Cloud. Для них приводится информация о рисках, связанных с безопасностью, раскрытием персональных данных (PII) и токсичностью. Практический смысл — дать платформенным командам основания для выбора модели, а не заставлять каждую команду выстраивать собственный процесс оценки с нуля. 34

GPU как общий управляемый ресурс

Для продуктивной эксплуатации платформа предлагает механизмы fair-share-планирования, обслуживания с учётом приоритетов, admission control и маршрутизации запросов по приоритету. Они должны не допустить ситуации, когда один сервис или подразделение полностью занимает дорогостоящие GPU.

Вместе с учётом токенов по пользователям эти возможности позволяют задавать приоритеты уровня сервиса и организовать showback или chargeback — то есть прозрачно относить потребление ресурсов на конкретные команды. 45

Новые панели наблюдаемости показывают состояние инференса, загрузку GPU и сигналы о качестве работы моделей. Это должно помочь операторам замечать проблемы с ёмкостью, доступностью и качеством уже во время работы ИИ-сервисов. 416

RAG, агенты и работа с многоязычными документами

В AutoRAG появилась поддержка неанглоязычных и смешанных по языкам документных массивов: определение языка, настройки экспериментов, учитывающее язык разбиение текста и поиск по многоязычным эмбеддинг-моделям. Это актуально для корпоративных RAG-сценариев, где документы и запросы могут быть, в том числе, на кириллице. Функция также ориентирована на поиск по корпоративным данным, тестирование диалоговых сценариев и агентные приложения; шаблоны AI Hub дают стартовые архитектуры для ревью кода, обработки документов и исследовательских процессов. 113

Инференс в гибридной инфраструктуре

Red Hat AI Inference 3.5 поддерживает оптимизированные образы для инференса на ускорителях NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi и IBM Spyre. 384

Распределённый инференс с llm-d поддерживается в Azure Kubernetes Service (AKS) и CoreWeave Kubernetes Service (CKS). Для Amazon EKS доступно планирование с учётом инференса, но оно пока имеет статус Technology Preview. Это важная оговорка: функции Technology Preview не покрываются производственными соглашениями Red Hat об уровне обслуживания и не рекомендуются для продуктивного использования. 84

Что даёт связка с NVIDIA

В рамках Red Hat AI Factory with NVIDIA эти возможности формируют единый операционный слой поверх инфраструктуры с ускорителями NVIDIA. Организации могут проверять модели, справедливо распределять GPU, отслеживать работу сервисов и развёртывать их в гибридной среде, используя общий Kubernetes-ориентированный подход.

Именно так Red Hat пытается сократить разрыв между экспериментами специалистов по данным и требованиями корпоративной эксплуатации: от выбора и тестирования модели — к контролируемому, измеряемому сервису в продуктиве. 163

В более широком контексте релиз поддерживает стратегию IBM и Red Hat: сочетать открытую гибридную облачную инфраструктуру с управляемыми процессами эксплуатации ИИ. Отдельно LTM сотрудничает с IBM и Red Hat по Lightwell — инициативе для выявления, приоритизации и устранения уязвимостей в компонентах с открытым исходным кодом. 48