Red Hat AI 3.5 skal flytte KI fra pilot til styrt produksjon

Red Hat AI 3.5 er først og fremst en oppdatering for drift, ikke én ny modell eller chatbotfunksjon. Målet er å gi plattformteam verktøyene som trengs for å teste KI-systemer før de settes i drift, dele kostbar GPU-kapasitet mellom brukere og følge med på inferens – altså når en ferdigtrent modell behandler forespørsler – etter lansering. Red Hat annonserte versjonen 9. september 2026 og fremhevet 11. september sikkerhet, operasjonell kontroll og innsikt i ytelse som hovedtemaer. 4315

EvalHub er den viktigste nyheten

Den tydeligste produksjonsnyheten er EvalHub, Red Hats verktøy for evaluering av modeller og agenter. Det er nå generelt tilgjengelig for kunders egne eller tilpassede modeller, konfigurasjoner for retrieval-augmented generation (RAG) og KI-agenter. Team kan gjennomføre sikkerhetstester for blant annet prompt injection og jailbreak-forsøk, og lage sertifiseringer til bruk i etterlevelsesarbeid basert på resultatene. 13

En modell som fungerer i en prototype, er ikke nødvendigvis klar for en virksomhetskritisk arbeidsflyt. EvalHub er ment å gjøre evaluering til et repeterbart steg før utrulling, i stedet for at hvert applikasjonsteam må utvikle, kjøre og dokumentere egne testløp.

Red Hat opplyser også at katalogen over validerte modeller er utvidet med over 20 modeller, blant annet fra Google, NVIDIA og Alibaba Cloud. Katalogevalueringene omfatter resultater fra Garak-referansetesten og indikatorer for toksisitet og mulig eksponering av personlig identifiserbar informasjon. Det gir team et bredere beslutningsgrunnlag når de skal velge modell. 34

Delte GPU-er får styring og kostnadskontroll

KI-piloter kjører ofte på dedikert infrastruktur og for et begrenset antall brukere. I produksjon må flere arbeidsbelastninger konkurrere om de samme ressursene, samtidig som tjenestenivåer og kostnader må kunne styres. Red Hat AI 3.5 legger derfor til funksjoner som rettferdig kapasitetsfordeling, prioriteringsbevisst modellservering, adgangskontroll og prioritetsbasert ruting av forespørsler i delte GPU-miljøer. 48

Versjonen introduserer også tokenmåling per bruker og dashbord for inferenshelse, GPU-utnyttelse og modellytelse. Hensikten er at plattformoperatører skal kunne se hvem som bruker kapasiteten, oppdage problemer i modellserveringen og fordele kostnader på teamnivå. 414

For virksomheter med NVIDIA-akselerert infrastruktur gir dette et Kubernetes-orientert driftslag rundt modellservering: Arbeidsbelastninger kan evalueres, tilgang til felles GPU-kapasitet kan styres, og tjenestene kan overvåkes mens de kjører. Red Hat AI Inference 3.5 tilbyr dessuten generelt tilgjengelige, optimaliserte inferensbilder for NVIDIA CUDA, i tillegg til AMD ROCm, Google TPU, Intel Gaudi og IBM Spyre-akseleratorer. 35

RAG og agenter: Viktig, men ikke alt er ferdigmodnet

Red Hat AI 3.5 bygger også ut verktøyene for søkebaserte og agentbaserte applikasjoner. AutoRAG får flerspråklig støtte for dokumentarkiver med andre språk enn engelsk og blandede språk. Dette omfatter språkdeteksjon, språkbevisst oppdeling av dokumenter og flerspråklige innebyggingsmodeller i optimaliseringssøket. 1

Red Hat beskriver AutoRAG som et verktøy for å evaluere og finjustere RAG-pipelines, blant annet med kontekstbasert gjenfinning, samtaletesting og visuell feilsøking. Men AutoRAG er fortsatt en Technology Preview – en teknologiforhåndsvisning – og ikke en generelt tilgjengelig funksjon. Virksomheter bør ta høyde for denne statusen når de avgjør hvilke deler som kan være fundamentet i en produksjonstjeneste. 13

Versjonen inkluderer også maler i AI Hub, ment som utgangspunkt for arbeidsflyter som kodegjennomgang, dokumentbehandling og research. 43

Hybrid sky også utenfor OpenShift

Oppdateringen utvider mulighetene for distribuert inferens med llm-d på administrert Kubernetes. Red Hats dokumentasjon nevner Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) og Amazon EKS som målplattformer. Blant kravene er Kubernetes 1.33 eller nyere og klargjorte GPU-noder. 37

Støttestatusen er imidlertid ikke den samme på alle plattformene. Dokumentasjonen beskriver distribuert inferens med llm-d på Amazon EKS som en Technology Preview, uten produksjons-SLA og uten anbefaling om bruk i produksjon. Dokumentasjonen for Red Hat AI Inference løfter derimot fram distribusjonsveiledning for Azure og CoreWeave Kubernetes Service, som dermed er de relevante støttede løpene i denne versjonen. 3940

Hva endrer dette for KI-team?

Red Hat samler fire arbeidsområder som ofte har vært adskilt i KI-piloter, i én plattformretning:

1. Tillit før lansering: Evaluer tilpassede modeller, RAG-pipelines og agenter for sikkerhetsrisiko, med sporbar dokumentasjon. 13
2. Kontroll i drift: Fordel delte GPU-ressurser etter rettferdighets- og prioriteringsregler, og mål tokenforbruk. 4
3. Innsyn i tjenesten: Bruk dashbord for inferens, utnyttelse og modellytelse til å drifte tjenesten etter utrulling. 14
4. Fleksibilitet i infrastrukturen: Kjør optimalisert inferens på flere akseleratorplattformer og distribuert inferens i støttede Kubernetes-miljøer. 3540

Red Hat posisjonerer funksjonene som et driftsgrunnlag for KI på tvers av hybride miljøer, der KI i større grad behandles som felles virksomhetsinfrastruktur enn som en samling enkeltstående eksperimenter. 43

Lightwell er en separat IBM–Red Hat-satsing

Den bredere strategien til IBM og Red Hat omfatter også Lightwell, et separat felles initiativ for sårbare tredjepartsavhengigheter i åpen kildekode. I september varslet LTM et samarbeid med IBM og Red Hat om Lightwell for KI-drevet utbedring av sårbarheter. Dette er ikke en funksjon i Red Hat AI 3.5, men handler om sikkerhet i programvareforsyningskjeden og peker i samme retning: mer validering og lavere operasjonell risiko. 2425

Kort oppsummert

Hovedløftet i Red Hat AI 3.5 er operasjonelt: Plattformteam skal kunne teste KI før utrulling, styre delt akseleratorinfrastruktur og overvåke modellservering på tvers av hybride miljøer. At EvalHub nå er generelt tilgjengelig, er det sentrale punktet, mens GPU-planlegging, tokenmåling og overvåking retter seg mot driftsarbeidet som pilotprosjekter ofte ikke løser. Det viktige forbeholdet er at tilgjengeligheten varierer: AutoRAG og distribuert inferens på EKS er fortsatt teknologiforhåndsvisninger. 1339