Red Hat AI 3.5 veut faire passer l’IA du pilote à la production

Red Hat a annoncé la disponibilité générale de Red Hat AI 3.5, une évolution de sa plateforme d’IA d’entreprise pensée pour sortir des expérimentations isolées. L’objectif est d’exploiter les modèles, les applications RAG (retrieval-augmented generation, ou génération augmentée par récupération) et les agents comme des services de production : gouvernés, observables et mutualisés, y compris dans une infrastructure de cloud hybride. 168

L’enjeu n’est donc pas seulement de déployer un modèle. Red Hat cherche à fournir aux équipes de plateforme les moyens de vérifier son comportement, de contrôler l’usage de ressources GPU coûteuses et de reproduire les déploiements entre différents environnements Kubernetes.

Évaluer la confiance avant la mise en production

La disponibilité générale d’EvalHub constitue l’un des éléments centraux de cette version. Le service automatise des évaluations de sécurité orientées risques et produit des éléments de conformité auditables pour les modèles créés ou adaptés par les clients, les chaînes RAG et les agents IA. Les équipes peuvent notamment tester l’exposition aux injections de prompts ou aux tentatives de contournement des garde-fous (jailbreaks) avant le déploiement. 138

Red Hat a aussi étendu son catalogue de modèles validés avec plus de 20 nouveaux modèles, notamment issus de Google, NVIDIA et Alibaba Cloud. Les informations publiées portent sur des risques de sécurité, d’exposition de données personnelles identifiables (PII) et de toxicité. L’idée est de donner aux équipes chargées de la plateforme des critères documentés pour choisir un modèle, plutôt que de leur demander de bâtir une méthode d’évaluation distincte à chaque projet. 34

Partager les GPU sans laisser un projet monopoliser la capacité

L’industrialisation de l’IA se heurte rapidement à la rareté et au coût des GPU. Red Hat AI 3.5 introduit ou met en avant des contrôles destinés à répartir cette capacité entre plusieurs équipes et charges de travail : planification équitable, service tenant compte des priorités, contrôle d’admission et routage des requêtes selon leur priorité. 45

Ces mécanismes doivent éviter qu’un seul cas d’usage ne consomme l’essentiel des accélérateurs disponibles. Le comptage des jetons par utilisateur apporte en outre une base pour la priorisation des niveaux de service et pour la refacturation ou le suivi des coûts par équipe.

Mieux voir ce qui se passe une fois le modèle en service

Les nouveaux tableaux de bord d’observabilité visent à rendre visibles la santé des services d’inférence, l’utilisation des GPU et les signaux de performance des modèles. Les exploitants peuvent ainsi repérer des difficultés de capacité, de disponibilité ou de qualité alors que les services IA tournent déjà en production. 416

Pour les projets fondés sur les données internes, AutoRAG gagne une prise en charge multilingue. Elle couvre les corpus non anglophones ou mixtes, avec détection de langue et configuration d’expériences ; Red Hat le positionne pour la recherche dans les données d’entreprise, les tests conversationnels et les applications agentiques. Des modèles d’architecture dans AI Hub proposent également des points de départ pour la revue de code, le traitement documentaire et la recherche. 113

Une inférence pensée pour le cloud hybride et plusieurs accélérateurs

Red Hat AI Inference 3.5 fournit des images optimisées pour l’inférence sur les accélérateurs NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi et IBM Spyre. 384

L’inférence distribuée avec llm-d est prise en charge sur Azure Kubernetes Service (AKS) et CoreWeave Kubernetes Service. Amazon Elastic Kubernetes Service (EKS) figure également dans la documentation, mais son ordonnancement adapté à l’inférence est explicitement classé comme Technology Preview : cette fonction n’est pas couverte par les accords de niveau de service de production de Red Hat et n’est pas recommandée pour un usage en production. 84

Le rôle de Red Hat AI Factory with NVIDIA

Dans le cadre de Red Hat AI Factory with NVIDIA, la version 3.5 fournit une couche d’exploitation standardisée au-dessus d’une infrastructure accélérée par NVIDIA. Les organisations peuvent évaluer les modèles, répartir plus équitablement la capacité GPU, superviser le service des modèles et déployer sur une infrastructure hybride en s’appuyant sur une approche commune centrée sur Kubernetes. 163

C’est ce qui doit réduire la rupture souvent observée entre les expérimentations des équipes data et l’exploitation informatique : un prototype peut être soumis à des contrôles de confiance, puis déployé et administré avec des règles, des métriques et une gestion de capacité adaptées à la production.

Enfin, cette annonce s’inscrit dans la stratégie plus large d’IBM et de Red Hat, qui associe infrastructure ouverte de cloud hybride et opérations IA gouvernées. À part, LTM collabore avec IBM et Red Hat autour de Lightwell, une initiative visant à identifier, prioriser et corriger des vulnérabilités dans des dépendances open source ; il s’agit d’un sujet distinct de Red Hat AI 3.5. 48