Red Hat AI 3.5 ska göra företags-AI till styrd drift – inte bara pilotprojekt

Red Hat har gjort Red Hat AI 3.5 allmänt tillgängligt som en plattformsuppdatering för organisationer som vill gå från AI-piloter till AI-tjänster i produktion. Tanken är inte främst att lägga till ännu ett modellverktyg, utan att ge IT- och plattformsteam kontroll över hur modeller granskas, prioriteras, körs och övervakas i hybridmoln. 173

Från experiment till en driftbar AI-tjänst

I praktiken försöker Red Hat samla tre delar som ofta hamnar hos olika team: förhandsgranskning av modeller, delning av dyr GPU-kapacitet och standardiserad driftsättning på Kubernetes. Det ska göra AI-arbetslaster mer repeterbara och enklare att styra över flera miljöer, från egna datacenter till molnplattformar. 178

Modellval och säkerhet före produktion

En central nyhet är EvalHub, som enligt Red Hats produktbeskrivning är allmänt tillgängligt för automatiserade utvärderingar av kundbyggda eller anpassade modeller, RAG-konfigurationer och AI-agenter. Syftet är att identifiera risker före driftsättning, exempelvis exponering för prompt injection och jailbreak-försök, och att skapa granskningsbara rapporter för regelefterlevnad. 17

Red Hat har också utökat sin katalog med fler än 20 validerade modeller från bland andra Google, NVIDIA och Alibaba Cloud. Katalogen ska ge plattformsteam underlag om bland annat säkerhet, risk för exponering av personuppgifter och toxicitet, så att varje produktteam inte behöver bygga en helt egen granskningsprocess. 17

Delade GPU:er med tydligare prioriteringar

När AI flyttas till produktion blir GPU-kapacitet ofta en flaskhals. Red Hat AI 3.5 lyfter därför funktioner som rättvis resursfördelning, prioriteringsstyrd modellservering, antagningskontroll och prioriterad routning av förfrågningar. Tillsammans är de avsedda att minska risken att ett enskilt team eller en arbetslast tar hela GPU-poolen i anspråk. 17

Per-användare-mätning av tokenanvändning kan dessutom ge underlag för intern kostnadsfördelning eller kostnadssynlighet mellan team. Det är ett viktigt steg om AI ska hanteras som en gemensam infrastrukturresurs och inte som en isolerad testmiljö. 17

Övervakning medan modellerna körs

Nya dashboards är avsedda att visa inferensens hälsa, GPU-utnyttjande och signaler om modellernas prestanda. Därmed kan driftteam fånga kapacitetsproblem, tillgänglighetsproblem och kvalitetsförändringar medan AI-tjänsten används – inte bara vid en utvärdering före lansering. 17

RAG och agentutveckling för fler språk

För team som bygger RAG-lösningar – där en modell hämtar relevant information från företagets egna dokument – lägger AutoRAG till stöd för flerspråkiga och blandade dokumentsamlingar. Funktionen omfattar språkidentifiering, språkmedveten segmentering för bland annat CJK-, kyrilliska och latinska skriftsystem samt flerspråkiga inbäddningsmodeller i optimeringen. 4

Det kan vara relevant för globala verksamheter där kunskapsbaser inte är begränsade till engelska. Red Hat pekar också på mallar i AI Hub för exempelvis kodgranskning, dokumenthantering och researchflöden. 17

Inferens på flera acceleratorer och Kubernetes-miljöer

Red Hat AI Inference 3.5 innehåller optimerade containeravbildningar för stora språkmodellers inferens på NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi och IBM Spyre. Stödet omfattar även flera arkitekturer för IBM Z och IBM Power. 3

För distribuerad inferens med llm-d finns stödda driftsättningar på Azure Kubernetes Service (AKS) och CoreWeave Kubernetes Service (CKS). Amazon Elastic Kubernetes Service, EKS, finns också i dokumentationen, men inferensmedveten schemaläggning där är uttryckligen märkt som Technology Preview. Red Hat anger att sådana funktioner inte omfattas av produktions-SLA och inte rekommenderas för produktionsbruk. 8

Vad NVIDIA-integrationen betyder

I kombination med Red Hat AI Factory with NVIDIA kan versionens funktioner fungera som ett gemensamt driftlager ovanpå NVIDIA-accelererad infrastruktur. Organisationer kan då använda ett Kubernetes-orienterat arbetssätt för att utvärdera modeller, fördela GPU-resurser, övervaka modellservering och distribuera inferens över hybrid infrastruktur. 173

Det är själva kärnan i Red Hats budskap: att minska överlämningen mellan data science-teamens experiment och IT-driftens krav på kontroll, resursstyrning och uppföljning.

Viktigt: Att Red Hat AI 3.5 är allmänt tillgängligt betyder inte att varje enskild funktion är produktionsklar. EKS-spåret för llm-d är fortfarande en Technology Preview, medan AKS och CKS anges som stödda driftsättningar. 8

Parallellt har IBM och Red Hat samarbetat med LTM kring Lightwell, en separat satsning som använder AI för att identifiera, prioritera och åtgärda sårbarheter i programvaruberoenden med öppen källkod. Det är inte en funktion i Red Hat AI 3.5, men ligger i linje med den bredare inriktningen mot styrd och säkrare företags-IT. 1316