Red Hat AI 3.5 richt zich op veilige, beheerde AI in productie

Red Hat positioneert AI 3.5 niet als de lancering van één nieuw model of een nieuwe chatbotfunctie, maar als een update voor de dagelijkse exploitatie van AI. De inzet: ondernemingen helpen om AI uit losse proefprojecten te halen en als een beheerde dienst te draaien, met voorafgaande controles, gedeelde GPU-capaciteit en zicht op de prestaties na ingebruikname. Red Hat kondigde de release op 9 september 2026 aan; in een overzicht van 11 september legde het bedrijf opnieuw de nadruk op veiligheid, operationele controle en transparantie over prestaties. 4315

EvalHub is de belangrijkste toevoeging

De opvallendste vernieuwing is de algemene beschikbaarheid van EvalHub, Red Hats toolkit voor het evalueren van modellen en agents. Organisaties kunnen die gebruiken voor zelf aangeleverde of aangepaste modellen, retrieval-augmented generation (RAG)-configuraties en AI-agents. Teams kunnen veiligheidstests uitvoeren op risico's zoals promptinjectie en jailbreaks, en op basis van de uitkomsten certificeringen voor compliance opstellen. 13

Dat is relevant omdat een model dat overtuigt in een demo niet automatisch geschikt is voor een bedrijfsproces. EvalHub moet een herhaalbare beoordelingsstap vóór implementatie mogelijk maken, in plaats van iedere applicatieploeg een eigen test- en documentatietraject te laten optuigen.

Ook breidde Red Hat zijn catalogus met gevalideerde modellen uit met meer dan twintig modellen, waaronder modellen van Google, NVIDIA en Alibaba Cloud. De catalogus bevat onder meer Garak-benchmarkresultaten en indicatoren voor toxiciteit en mogelijke blootstelling van persoonlijk identificeerbare informatie. Dat geeft teams extra aanknopingspunten bij hun modelkeuze. 34

Gedeelde GPU's krijgen meer beheerregels

Een AI-pilot draait vaak op gereserveerde infrastructuur voor een kleine groep gebruikers. In productie concurreren workloads om capaciteit en spelen prioriteiten en kostenverantwoording mee. Red Hat AI 3.5 voegt daarom fair-shareplanning, serving op basis van prioriteit, toegangscontrole en routering van aanvragen op prioriteit toe voor gedeelde GPU-omgevingen. 48

Daarnaast komen er tokenmetingen per gebruiker en dashboards voor de gezondheid van inferentie, GPU-benutting en modelprestaties. Platformteams moeten daarmee kunnen zien wie capaciteit verbruikt, problemen in de modelbediening kunnen opsporen en kosten aan teams kunnen toerekenen. 414

Voor organisaties met NVIDIA-versnelde infrastructuur is dit in de praktijk een op Kubernetes gebaseerde beheerlaag rond model-serving: workloads beoordelen, toegang tot gedeelde GPU-capaciteit regelen en de actieve dienst bewaken. Red Hat AI Inference 3.5 levert bovendien algemeen beschikbare geoptimaliseerde inference-images voor NVIDIA CUDA, naast AMD ROCm, Google TPU, Intel Gaudi en IBM Spyre-versnellers. 35

RAG en agents: nuttig, maar niet alles is al GA

Red Hat AI 3.5 breidt ook de tooling voor toepassingen met RAG en agents uit. AutoRAG krijgt meertalige mogelijkheden voor niet-Engelstalige en gemengdtalige documentcollecties, zoals taalherkenning, taalbewuste chunking en meertalige embeddings binnen de optimalisatiezoekruimte. 1

Red Hat beschrijft AutoRAG als gereedschap om RAG-pijplijnen te evalueren en af te stemmen, met onder meer contextueel ophalen, conversationele tests en visuele debugging. AutoRAG is echter een Technology Preview en dus geen algemeen beschikbare functie. Teams doen er goed aan die status mee te wegen voordat zij deze component als basis voor een productiedienst kiezen. 13

De release bevat ook AI Hub-sjablonen als startpunt voor workflows zoals codereview, documentverwerking en onderzoek. 43

Gedistribueerde inferentie buiten OpenShift

Voor gedistribueerde inferentie met llm-d op beheerde Kubernetes-diensten verruimt Red Hat de uitrolmogelijkheden. De documentatie noemt Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) en Amazon EKS als doelplatforms. Vereisten zijn onder meer Kubernetes 1.33 of hoger en ingerichte GPU-nodes. 37

De ondersteuningsstatus is niet op elk platform gelijk. Gedistribueerde inferentie met llm-d op Amazon EKS is volgens de documentatie een Technology Preview: zonder productie-SLA, mogelijk onvolledig en niet aanbevolen voor productie. Voor Azure en CoreWeave Kubernetes Service biedt de documentatie wel uitrolrichtlijnen als ondersteunde routes binnen deze release. 3940

Wat verandert er voor platformteams?

AI 3.5 brengt vier onderdelen samen die bij AI-pilots vaak los van elkaar bestaan:

1. Vertrouwen vóór livegang: eigen modellen, RAG-pijplijnen en agents beoordelen op veiligheidsrisico's en controleerbare resultaten vastleggen. 13
2. Regie tijdens gebruik: gedeelde GPU-capaciteit verdelen met regels voor eerlijkheid en prioriteit, plus tokenverbruik meten. 4
3. Zicht in de operatie: dashboards voor inferentie, benutting en modelprestaties gebruiken om de dienst na implementatie te beheren. 14
4. Keuzevrijheid in infrastructuur: geoptimaliseerde inferentie gebruiken op meerdere acceleratorstacks en gedistribueerde inferentie uitrollen op ondersteunde Kubernetes-omgevingen. 3540

Red Hat presenteert deze functies als de operationele basis voor AI die hybride omgevingen overspant en meer functioneert als gedeelde bedrijfsinfrastructuur dan als een verzameling afzonderlijke experimenten. 43

Lightwell is verwant, maar staat los van AI 3.5

De bredere strategie van IBM en Red Hat omvat ook Lightwell, een afzonderlijk gezamenlijk initiatief voor kwetsbare open-sourceafhankelijkheden van derden. LTM kondigde in september een samenwerking met IBM en Red Hat rond Lightwell aan voor AI-gedreven herstel van kwetsbaarheden. Dit is geen functie van Red Hat AI 3.5, maar past wel bij de bredere nadruk van de bedrijven op validatie en het beperken van operationele risico's. 2425

Conclusie

De kernbelofte van Red Hat AI 3.5 is operationeel: platformteams hulpmiddelen geven om AI vóór implementatie te toetsen, gedeelde versnellingsinfrastructuur te beheren en model-serving in hybride omgevingen te volgen. De algemene beschikbaarheid van EvalHub is het middelpunt. GPU-planning, tokenmeting en observability zijn gericht op het beheerwerk ná de pilotfase. Belangrijk blijft dat de beschikbaarheid per functie verschilt: AutoRAG en gedistribueerde inferentie op EKS zijn nog Technology Previews. 1339