Red Hat AI 3.5 skal gøre virksomheders AI klar til produktion

Hovedpointen: AI skal kunne drives – ikke blot demonstreres

Med den generelt tilgængelige version af Red Hat AI 3.5 positionerer Red Hat platformen som et lag til drift af AI i virksomheden: modeller og AI-tjenester skal kunne vurderes, prioriteres, overvåges og skaleres på tværs af hybrid cloud-miljøer. Målet er at mindske afstanden mellem data science-eksperimenter og en drift, hvor flere teams deler den samme infrastruktur. 17

For organisationer handler det især om tre ting: dokumentation for modelrisiko før lancering, bedre udnyttelse af dyre GPU'er og en mere ensartet måde at udrulle inferens på.

Modelkontrol før produktion

En af de centrale tilføjelser er EvalHub, som ifølge Red Hats produktoversigt er generelt tilgængelig. Tjenesten orkestrerer evalueringer af egne eller tilpassede modeller, RAG-konfigurationer (retrieval-augmented generation) og AI-agenter. Den skal blandt andet hjælpe med at afdække eksponering for prompt injection og jailbreak-forsøg og levere revisionsvenlige overensstemmelsesrapporter. 17

Red Hat har samtidig udvidet sit katalog af validerede modeller med over 20 modeller fra blandt andre Google, NVIDIA og Alibaba. Kataloget indeholder oplysninger om eksempelvis sikkerhed, risiko for eksponering af personoplysninger og toksicitet. Det giver platformteams et fælles grundlag for modelvalg i stedet for, at hver enkelt udviklingsgruppe skal etablere sin egen evalueringsproces. 17

Når GPU'er skal deles mellem teams

GPU-kapacitet er ofte både knap og dyr. Red Hat AI 3.5 introducerer derfor funktioner som fair-share-planlægning, prioriteringsbevidst modelserving, adgangskontrol og prioriteret routing af forespørgsler. Sammen med måling af tokenforbrug pr. bruger skal det gøre det lettere at forhindre, at ét projekt optager al kapaciteten – og at fordele eller viderefakturere omkostninger mellem teams. 17

Nye dashboards skal samtidig give driftsansvarlige indblik i inferensens tilstand, GPU-udnyttelse og signaler om modellens ydeevne. Det er væsentligt, når AI går fra prøveprojekter til tjenester, der skal leve op til krav om tilgængelighed, kapacitet og kvalitet. 17

RAG på flere sprog og genbrugelige skabeloner

På udviklingssiden får AutoRAG flersproget understøttelse for dokumentarkiver med både ikke-engelske og blandede sprog. Funktionen omfatter sprogdetektion, konfiguration af eksperimenter, sprogbevidst opdeling af tekst og flersprogede embedding-modeller. Red Hat fremhæver, at det kan bruges til RAG-mønstre på tværs af sproggrænser. Funktionen er dog angivet som Technology Preview. 4

AI Hub-skabeloner er desuden tænkt som udgangspunkter for løsninger som kodegennemgang, dokumentbehandling og research-workflows. 17

Inferens på flere acceleratorer og Kubernetes-platforme

Red Hat AI Inference 3.5 leverer optimerede container-images til LLM-inferens på flere typer hardware: NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi og IBM Spyre. Der er også understøttelse af flere arkitekturer, herunder IBM Z og IBM Power. 13

For distribueret inferens med llm-d beskriver Red Hat udrulning på administrerede Kubernetes-platforme som Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) og Amazon Elastic Kubernetes Service (EKS). 56

Her er det afgørende forbehold: På Amazon EKS er llm-d-funktionen kun en Technology Preview. Red Hat oplyser, at sådanne funktioner ikke er dækket af produktions-SLA'er, muligvis ikke er fuldt færdige og ikke anbefales til produktion. 8 Dokumentationen fremhæver derimod Azure- og CoreWeave-forløbene som understøttede implementeringer. 8

Hvad NVIDIA-samarbejdet betyder i praksis

I sammenhæng med Red Hat AI Factory with NVIDIA kan 3.5-funktionerne ses som et fælles driftslag over NVIDIA-accelereret infrastruktur: Organisationer får værktøjer til at validere modeller, fordele GPU-ressourcer, overvåge serving og udrulle AI-tjenester med en Kubernetes-orienteret tilgang på tværs af miljøer. 173

Det er ikke i sig selv en garanti for, at en AI-løsning er klar til produktion. Men versionen samler nogle af de kontroller, som ofte mangler mellem eksperimentet og den daglige drift: risikoevaluering, kapacitetsstyring, måling og observerbarhed. Dermed er Red Hats budskab med AI 3.5, at AI skal behandles som fælles, styrbar infrastruktur – ikke som en række isolerede pilotprojekter.