Red Hat AI 3.5 soll KI im Hybrid-Cloud-Betrieb produktionsreif machen

Red Hat hat mit Red Hat AI 3.5 eine allgemein verfügbare Aktualisierung seiner Enterprise-KI-Plattform vorgestellt. Im Mittelpunkt steht nicht mehr allein das Experimentieren mit Modellen, sondern ihr Betrieb als steuerbarer, beobachtbarer und mandantenfähiger Dienst über hybride IT-Umgebungen hinweg. Die Plattform soll Unternehmen dabei unterstützen, den Übergang von einzelnen KI-Piloten zu wiederholbaren Produktionsabläufen zu vereinfachen. 168

Was Red Hat AI 3.5 für den Produktivbetrieb ergänzt

Modelle vor dem Einsatz prüfen

Mit EvalHub steht ein Dienst für automatisierte, risikoorientierte Sicherheitsbenchmarks und prüfbare Compliance-Nachweise allgemein zur Verfügung. Teams können damit selbst entwickelte oder angepasste Modelle, RAG-Pipelines (Retrieval-Augmented Generation) und KI-Agenten vor der Bereitstellung untersuchen – etwa auf Anfälligkeit für Prompt-Injection oder Jailbreaks. 138

Für Plattformteams ist das vor allem ein Governance-Thema: Die Auswahl eines Modells soll auf dokumentierten Prüfwerten beruhen, statt dass jede Fachgruppe eigene Bewertungsverfahren aufsetzt. Red Hat hat dafür seinen Katalog um mehr als 20 validierte Modelle erweitert, unter anderem von Google, NVIDIA und Alibaba Cloud. Genannt werden dabei Informationen zu Sicherheit, möglicher Preisgabe personenbezogener Daten und Toxizitätsrisiken. 34

Teure GPU-Kapazitäten zwischen Teams verteilen

Im KI-Betrieb sind GPUs oft der knappste und teuerste Engpass. Red Hat AI 3.5 bringt deshalb Funktionen wie Fair-Share-Scheduling, prioritätsbewusstes Serving, Admission Control und prioritätsbasiertes Request-Routing zusammen. Sie sollen verhindern, dass einzelne Workloads oder Teams die gesamte GPU-Kapazität belegen. 45

Zusammen mit einer nutzerbezogenen Token-Messung lassen sich Prioritäten für Dienste definieren sowie Kosten je Team transparent zuordnen – etwa für interne Verrechnungen oder Kostenberichte. 45

Laufende KI-Dienste besser überwachen

Neue Observability-Dashboards liefern Einblick in den Zustand der Inferenz, die GPU-Auslastung und Signale zur Modellleistung. Betreiber können damit Kapazitätsengpässe, Verfügbarkeitsprobleme oder Qualitätsabweichungen erkennen, während KI-Dienste bereits laufen. 416

Das adressiert eine typische Lücke zwischen Data Science und Betrieb: Ein Modell kann im Test überzeugen, benötigt für den verlässlichen Einsatz aber Überwachung, Kapazitätsplanung und klar geregelte Zuständigkeiten.

RAG und Agenten für mehrsprachige Unternehmensdaten

Für RAG-Anwendungen erweitert AutoRAG die Unterstützung für nicht englischsprachige und gemischtsprachige Dokumentbestände. Dazu gehören Spracherkennung, konfigurierbare Experimente, sprachbewusste Segmentierung – beispielsweise für lateinische, kyrillische oder CJK-Schriften – sowie mehrsprachige Embedding-Modelle. 113

Red Hat positioniert die Funktionen für die Suche in Unternehmenswissen, Tests von dialogorientierten Anwendungen und agentische Workflows. Vorlagen in AI Hub sollen zudem als Ausgangspunkt für Anwendungsfälle wie Code-Reviews, Dokumentenverarbeitung und Recherche dienen. 113

Inferenz über verschiedene Beschleuniger und Kubernetes-Umgebungen

Red Hat AI Inference 3.5 stellt optimierte Container-Images für LLM-Inferenz auf NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi und IBM Spyre bereit. Damit verfolgt Red Hat einen hardwareübergreifenden Ansatz für den Inferenzbetrieb. 38

Verteilte Inferenz mit llm-d wird auf Azure Kubernetes Service und CoreWeave Kubernetes Service als unterstützte Bereitstellungsoption genannt. Für Amazon Elastic Kubernetes Service (EKS) ist das inference-aware Scheduling dagegen ausdrücklich nur als Technology Preview eingestuft. Diese Vorschau-Funktionen fallen nicht unter Red Hats Produktions-SLAs und werden nicht für den Produktionseinsatz empfohlen. 84

Rolle von Red Hat AI Factory mit NVIDIA

Im Rahmen von Red Hat AI Factory mit NVIDIA bilden die neuen Funktionen eine standardisierte Betriebsebene auf NVIDIA-beschleunigter Infrastruktur. Unternehmen können Modelle validieren, GPU-Ressourcen nach Regeln verteilen, laufende Inferenz überwachen und Workloads mit einem Kubernetes-orientierten Ansatz über hybride Umgebungen bereitstellen. 163

Damit zielt Red Hat auf das praktische Übergabeproblem zwischen KI-Experiment und Unternehmensbetrieb: Nicht nur ein Modell soll bereitstehen, sondern auch ein nachvollziehbarer Weg für Prüfung, Ressourcensteuerung, Deployment und Monitoring.

Das wichtigste Detail: Nicht alles ist gleichermaßen produktionsreif

„Allgemein verfügbar“ gilt nicht automatisch für jede einzelne Funktion und jede Zielplattform. Während die Inferenz-Images und die beschriebenen Azure- sowie CoreWeave-Wege unterstützt werden, bleibt das inference-aware Scheduling auf Amazon EKS eine Technology Preview. Unternehmen sollten diese Unterscheidung bei Architektur- und Produktionsentscheidungen berücksichtigen. 84