Red Hat AI 3.5 ska flytta AI från pilot till styrd produktion

Red Hat AI 3.5 handlar mindre om en enskild ny modell och mer om arbetet som krävs när AI ska bli en förvaltad tjänst i produktion. Uppdateringen fokuserar på att utvärdera AI-system före lansering, dela dyra GPU-resurser mellan användare och övervaka inferens när tjänsten väl körs. Red Hat presenterade versionen den 9 september 2026 och lyfte åter den 11 september fram säkerhet, operativ kontroll och insyn i prestanda. 4315

EvalHub är den tydligaste nyheten

Kärnan i produktionssatsningen är EvalHub, Red Hats verktyg för utvärdering av modeller och agenter. Det är nu allmänt tillgängligt för modeller som kunden själv tillhandahåller eller anpassar, för konfigurationer med retrieval-augmented generation (RAG) och för AI-agenter. Team kan köra säkerhetsinriktade tester för risker som prompt injection och jailbreaks, och därefter ta fram underlag för regelefterlevnad baserat på resultaten. 13

Det fyller ett vanligt glapp mellan demo och verklig drift: att en modell fungerar i en prototyp betyder inte automatiskt att den är redo för ett företagskritiskt arbetsflöde. Tanken är att utvärderingen ska bli ett återkommande steg före driftsättning, i stället för att varje applikationsteam bygger och dokumenterar sina egna testprocesser.

Red Hat uppger också att katalogen med validerade modeller har utökats med fler än 20 modeller, bland annat från Google, NVIDIA och Alibaba Cloud. Katalogens utvärderingar omfattar resultat från Garak-benchmarken samt indikatorer för toxicitet och möjlig exponering av personligt identifierbar information. Det ska ge teamen mer underlag när de väljer modell. 34

Delade GPU:er blir en driftfråga

AI-piloter körs ofta på dedikerad infrastruktur för en begränsad användargrupp. I produktion tillkommer konkurrerande arbetslaster, olika prioriteringar och behovet av att kunna fördela kostnader. Red Hat AI 3.5 lägger till funktioner för just detta: rättvis schemaläggning, prioriteringsmedveten modellservering, behörighetskontroll och prioriteringsbaserad dirigering av förfrågningar i miljöer där GPU:er delas. 48

Versionen innehåller även tokenmätning per användare och instrumentpaneler för inferenshälsa, GPU-utnyttjande och modellprestanda. För plattformsteam innebär det bättre möjlighet att se vem som använder kapaciteten, upptäcka problem i serveringen och fördela kostnader mellan team. 414

För organisationer med NVIDIA-accelererad infrastruktur är den praktiska effekten ett Kubernetes-orienterat driftlager kring modellservering: utvärdera arbetslaster, styra åtkomst till delad GPU-kapacitet och följa upp den tjänst som körs. Red Hat AI Inference 3.5 erbjuder också allmänt tillgängliga optimerade inferensbilder för NVIDIA CUDA, samt stöd för AMD ROCm, Google TPU, Intel Gaudi och IBM Spyre. 35

RAG och agenter ingår – men allt är inte produktionsklart

Red Hat AI 3.5 utvecklar också verktygen för RAG- och agentbaserade applikationer. AutoRAG får flerspråkigt stöd för dokumentmängder på andra språk än engelska och för blandade språk, med språkidentifiering, språkanpassad segmentering av text och flerspråkiga inbäddningsmodeller i optimeringssökningen. 1

Red Hat beskriver AutoRAG som ett sätt att utvärdera och justera RAG-pipelines, med funktioner som kontextuell hämtning, konversationstester och visuell felsökning. Men AutoRAG är fortfarande en Technology Preview, alltså en teknikförhandsversion, och inte allmänt tillgänglig funktionalitet. Den statusen bör vägas in innan den används som grund i en produktionstjänst. 13

Utgåvan innehåller dessutom AI Hub-mallar, tänkta som startpunkter för arbetsflöden som kodgranskning, dokumenthantering och research. 43

Distribuerad inferens även utanför OpenShift

Versionen breddar alternativen för distribuerad inferens med llm-d på hanterade Kubernetes-tjänster. Red Hats dokumentation anger Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) och Amazon EKS som målplattformar. Bland kraven finns Kubernetes 1.33 eller senare och provisionerade GPU-noder. 37

Stödnivån är dock inte densamma på alla plattformar. Distribuerad inferens med llm-d på Amazon EKS beskrivs uttryckligen som en Technology Preview, utan produktions-SLA och inte rekommenderad för produktion. Red Hats dokumentation lyfter i stället distributionsvägledning för Azure och CoreWeave Kubernetes Service, vilket gör dem till de relevanta stödda alternativen i den här versionen. 3940

Vad förändras för företagsteam?

Red Hat samlar fyra arbetsområden som ofta är åtskilda i ett AI-pilotprojekt:

1. Förtroende före lansering: Utvärdera egna modeller, RAG-pipelines och agenter för säkerhetsrisker och skapa granskningsbart underlag. 13
2. Styrning i drift: Fördela delade GPU-resurser enligt rättvise- och prioriteringsprinciper och mät tokenanvändning. 4
3. Insyn efter driftsättning: Följ inferens, resursutnyttjande och modellprestanda via driftpaneler. 14
4. Valfrihet i infrastrukturen: Kör optimerad inferens på flera acceleratorplattformar och distribuera inferens på Kubernetes-miljöer som stöds. 3540

Red Hat positionerar därmed funktionerna som ett operativt fundament för AI i hybridmiljöer – mer likt delad företagsinfrastruktur än en samling enskilda experiment. 43

Lightwell är en separat IBM–Red Hat-satsning

IBM och Red Hats bredare arbete med tillit omfattar även Lightwell, ett separat gemensamt initiativ för sårbara tredjepartsberoenden i öppen källkod. I september meddelade LTM ett samarbete med IBM och Red Hat kring Lightwell för AI-driven åtgärd av sårbarheter. Det handlar om säkerhet i mjukvarans leveranskedja, inte om en funktion i Red Hat AI 3.5, men speglar bolagens bredare fokus på validering och minskad operativ risk. 2425

Slutsats

Red Hat AI 3.5:s främsta löfte är operativt: att ge plattformsteam verktyg för att testa AI före driftsättning, styra delad acceleratorinfrastruktur och övervaka modellservering i hybridmiljöer. Att EvalHub nu är allmänt tillgängligt är mittpunkten, medan GPU-schemaläggning, tokenmätning och observability riktar sig mot det löpande driftarbete som pilotprojekt ofta slipper undan. Det viktiga förbehållet är att funktionernas mognad varierar: både AutoRAG och distribuerad inferens på Amazon EKS är fortfarande teknikförhandsversioner. 1339