Red Hat AI 3.5 punta a trasformare i progetti pilota in servizi AI gestiti

Red Hat ha annunciato la disponibilità generale di Red Hat AI 3.5, aggiornamento della propria piattaforma AI per le imprese. L’obiettivo non è soltanto far arrivare un modello a una demo funzionante: è renderlo un servizio di produzione governato, osservabile e condivisibile tra più team su infrastrutture cloud ibride. La promessa della release combina validazione preventiva dell’affidabilità, uso più efficiente delle GPU e procedure ripetibili per distribuire applicazioni e inferenza. 168

Dalla sperimentazione al controllo operativo

Uno dei punti centrali è EvalHub, ora disponibile in generale. Il servizio permette benchmark automatizzati orientati alla sicurezza e certificazioni di conformità verificabili per modelli sviluppati o personalizzati dai clienti, pipeline RAG (Retrieval-Augmented Generation, cioè generazione supportata dal recupero di documenti) e agenti AI. In pratica, i team possono verificare prima della distribuzione rischi quali prompt injection e jailbreak. 138

Red Hat ha inoltre ampliato il catalogo con oltre 20 modelli validati di fornitori tra cui Google, NVIDIA e Alibaba Cloud. Per questi modelli sono riportate informazioni su sicurezza, possibile esposizione di dati personali identificabili (PII) e rischio di contenuti tossici: un modo per offrire ai team di piattaforma elementi comparabili nella scelta del modello, senza dover costruire ogni volta da zero un processo di valutazione. 34

GPU condivise, priorità e costi sotto controllo

In produzione, le GPU sono una risorsa costosa e spesso contesa. Red Hat AI 3.5 introduce meccanismi di fair-share scheduling, gestione delle priorità nel serving, admission control e instradamento delle richieste in base alla priorità. L’intento è impedire che un singolo workload o reparto monopolizzi la capacità disponibile. 45

Con la misurazione dei token per utente, le organizzazioni possono inoltre applicare priorità di servizio e attribuire o rendicontare i costi di utilizzo per team, secondo logiche di chargeback o showback. 45

Nuove dashboard di osservabilità mostrano lo stato dell’inferenza, l’utilizzo delle GPU e segnali sulle prestazioni dei modelli. Per chi gestisce la piattaforma, questo dovrebbe rendere più semplice individuare problemi di capacità, disponibilità o qualità mentre i servizi AI sono già operativi. 416

RAG multilingue e inferenza su più acceleratori

Per lo sviluppo di applicazioni basate sui dati aziendali, AutoRAG aggiunge supporto multilingue per raccolte documentali non inglesi o miste: include rilevamento della lingua e configurazione degli esperimenti. Red Hat lo posiziona per il recupero di conoscenza aziendale, i test conversazionali e le applicazioni agentiche; i template di AI Hub propongono architetture iniziali per revisione del codice, elaborazione documentale e ricerca. 113

Sul piano dell’infrastruttura, Red Hat AI Inference 3.5 offre immagini di inferenza ottimizzate per NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi e IBM Spyre. L’obiettivo è mantenere un approccio coerente, basato su Kubernetes, pur usando acceleratori diversi. 384

L’inferenza distribuita con llm-d è supportata su Azure Kubernetes Service (AKS) e CoreWeave Kubernetes Service (CKS). Per Amazon Elastic Kubernetes Service (EKS), invece, la pianificazione consapevole dell’inferenza è indicata come Technology Preview: non è coperta dagli SLA di produzione Red Hat e non viene raccomandata per l’uso produttivo. 84

Il ruolo di NVIDIA

Nel contesto di Red Hat AI Factory with NVIDIA, queste capacità costituiscono un livello operativo standardizzato sopra infrastrutture accelerate da NVIDIA. Le aziende possono valutare i modelli, allocare in modo più equo la capacità GPU, monitorare il serving e distribuire carichi su infrastrutture ibride usando un approccio comune orientato a Kubernetes. È questo il collegamento con cui Red Hat cerca di ridurre la distanza tra sperimentazione dei data scientist e gestione operativa dell’AI in azienda. 163

La distinzione tra funzionalità già disponibili e anteprime resta importante: la disponibilità generale di Red Hat AI 3.5 non implica che ogni singola integrazione sia pronta per ambienti critici. In particolare, i percorsi CoreWeave e Azure sono supportati, mentre quello relativo a EKS rimane in anteprima tecnologica. 84