Red Hat AI 3.5 skal gøre AI-piloter klar til drift

Red Hat AI 3.5 er ikke først og fremmest en ny model eller chatbot-funktion. Udgivelsen handler om driften omkring AI: at teste løsninger før lancering, dele dyr GPU-kapacitet mellem teams og overvåge inferens, når den er i produktion. Red Hat annoncerede versionen 9. september 2026 og fremhævede efterfølgende sikkerhed, driftskontrol og gennemsigtighed i ydelsen som centrale elementer. 4315

EvalHub er nu generelt tilgængelig

Den mest markante nyhed er EvalHub, Red Hats værktøj til evaluering af modeller og agenter. Det er nu generelt tilgængeligt for modeller, virksomheder selv medbringer eller tilpasser, for retrieval-augmented generation-løsninger (RAG) og for AI-agenter. Teams kan teste for sikkerhedsrisici som prompt injection og jailbreaks og generere certificeringer med fokus på compliance ud fra resultaterne. 13

Det adresserer et velkendt problem: At en model fungerer i en prototype, er ikke det samme som, at den er klar til en forretningskritisk arbejdsgang. EvalHub skal gøre evaluering til et gentageligt trin før idriftsættelsen frem for en proces, som hvert applikationsteam selv skal opbygge og dokumentere.

Red Hat oplyser også, at kataloget over validerede modeller er udvidet med mere end 20 modeller, herunder fra Google, NVIDIA og Alibaba Cloud. Katalogets evalueringer omfatter blandt andet Garak-benchmarkresultater samt indikatorer for toksicitet og mulig eksponering af personhenførbare oplysninger. Det giver teams et ekstra grundlag, når de vælger model. 34

Delte GPU’er får mere styring

AI-piloter kører ofte på dedikeret infrastruktur for få brugere. I produktion skal virksomheder håndtere konkurrerende arbejdsbelastninger, serviceprioriteter og ansvaret for omkostninger. Red Hat AI 3.5 tilføjer derfor fair-share-planlægning, prioriteringsbevidst servering, adgangskontrol og prioriteringsbaseret routing af forespørgsler i miljøer med delte GPU’er. 48

Versionen introducerer desuden tokenmåling pr. bruger og dashboards for inferensens tilstand, GPU-udnyttelse og modelydelse. Ifølge Red Hat skal det hjælpe platformteams med at se, hvem der bruger kapaciteten, finde problemer i modelserveringen og fordele omkostninger på teams. 414

For organisationer med NVIDIA-accelereret infrastruktur består den praktiske gevinst i et Kubernetes-orienteret driftslag omkring modelservering: Evaluér belastninger, administrér adgang til fælles GPU-kapacitet og overvåg tjenesten, mens den kører. Red Hat AI Inference 3.5 tilbyder også generelt tilgængelige, optimerede inferensimages til NVIDIA CUDA samt acceleratorer fra AMD ROCm, Google TPU, Intel Gaudi og IBM Spyre. 35

RAG og agenter: nyttige nyheder, men ikke alt er klar til produktion

Red Hat AI 3.5 udvider også værktøjerne til RAG- og agentbaserede applikationer. AutoRAG får flersproget understøttelse til ikke-engelske og blandede dokumentsamlinger, herunder sproggenkendelse, sprogbevidst opdeling af tekst og flersprogede embeddings i værktøjets optimeringssøgning. 1

Red Hat beskriver AutoRAG som et værktøj til at evaluere og finjustere RAG-pipelines med blandt andet kontekstuel informationssøgning, samtaletest og visuel fejlsøgning. Men AutoRAG er fortsat en Technology Preview og ikke en generelt tilgængelig funktion. Det bør indgå i vurderingen af, hvilke komponenter der kan bruges som grundlag for en produktionsløsning. 13

Udgivelsen indeholder desuden AI Hub-skabeloner, der kan fungere som udgangspunkt for arbejdsgange som kodereview, dokumentbehandling og research. 43

Distribueret inferens også uden for OpenShift

Red Hat udvider mulighederne for distribueret inferens med llm-d på administrerede Kubernetes-platforme. Red Hats dokumentation nævner Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) og Amazon EKS som målplatforme. Kravene omfatter blandt andet Kubernetes 1.33 eller nyere samt GPU-noder, der er klargjort på forhånd. 37

Supportstatus er dog ikke ens. Red Hat beskriver specifikt distribueret inferens med llm-d på Amazon EKS som en Technology Preview uden produktions-SLA og fraråder brug i produktion. Dokumentationen fremhæver derimod installationsvejledninger for Azure og CoreWeave Kubernetes Service som de relevante understøttede veje i denne version. 3940

Hvad ændrer det for virksomheder?

Red Hat samler fire discipliner, som ofte ligger adskilt i AI-piloter, i én platformretning:

1. Tillid før lancering: Test tilpassede modeller, RAG-pipelines og agenter for sikkerhedsrisici, og skab dokumenterbart output. 13
2. Kontrol i driften: Fordel delte GPU-ressourcer med regler for fairness og prioritet, og mål tokenforbrug. 4
3. Indsigt undervejs: Brug dashboards for inferens, udnyttelse og modelydelse til at drive tjenesten efter lanceringen. 14
4. Fleksibilitet på tværs af infrastruktur: Kør optimeret inferens på flere acceleratorplatforme og distribueret inferens i understøttede Kubernetes-miljøer. 3540

Red Hat positionerer funktionerne som et driftsfundament for AI på tværs af hybride miljøer, hvor AI behandles som fælles virksomheds-infrastruktur frem for en samling enkeltstående forsøg. 43

Lightwell er et separat IBM-Red Hat-initiativ

IBM og Red Hats bredere strategi omfatter også Lightwell, et særskilt fælles initiativ om sårbare tredjepartsafhængigheder i open source. I september annoncerede LTM et samarbejde med IBM og Red Hat om Lightwell og AI-drevet håndtering af sårbarheder. Det er ikke en funktion i Red Hat AI 3.5, men vedrører sikkerhed i softwareforsyningskæden og afspejler selskabernes bredere fokus på validering og reduktion af driftsrisiko. 2425

Bundlinjen

Red Hat AI 3.5 er i høj grad en driftsopdatering: Platformteams får værktøjer til at teste AI før idriftsættelse, styre fælles acceleratorinfrastruktur og følge modelservering i hybride miljøer. EvalHub er den centrale, generelt tilgængelige nyhed, mens GPU-planlægning, tokenmåling og observability retter sig mod den løbende drift, som pilotprojekter ofte ikke løser. Det væsentlige forbehold er, at tilgængeligheden varierer: AutoRAG og distribueret llm-d-inferens på EKS er stadig Technology Previews. 1339