Red Hat AI 3.5 punta a trasformare i progetti pilota in servizi AI governati

Red Hat AI 3.5 non ruota attorno a un singolo nuovo modello o a un chatbot: è soprattutto un aggiornamento per gestire l’AI in esercizio. L’obiettivo è dare ai team di piattaforma strumenti per valutare i sistemi prima della messa in produzione, condividere capacità GPU costose tra più utenti e monitorare l’inferenza una volta avviata. Red Hat ha annunciato la release il 9 settembre 2026 e ha poi ribadito l’enfasi su sicurezza, controllo operativo e trasparenza delle prestazioni. 4315

EvalHub è il cambiamento più rilevante

La novità più importante sul fronte della produzione è EvalHub, il toolkit Red Hat per la valutazione di modelli e agenti, ora in disponibilità generale. Può essere usato con modelli forniti dai clienti o personalizzati, configurazioni di retrieval-augmented generation (RAG) e agenti AI. I team possono eseguire benchmark di sicurezza contro rischi quali prompt injection e jailbreak, quindi generare certificazioni orientate alla conformità a partire dai risultati. 13

In pratica, un modello che funziona in un prototipo non è automaticamente pronto per un processo aziendale. EvalHub mira a rendere ripetibile la verifica prima del deploy, evitando che ogni team applicativo debba costruire e documentare da zero il proprio processo di test.

Red Hat afferma inoltre di avere aggiunto oltre 20 modelli al catalogo validato, inclusi modelli di Google, NVIDIA e Alibaba Cloud. Le valutazioni del catalogo includono risultati del benchmark Garak e indicatori relativi a tossicità e possibile esposizione di dati personali identificabili (PII), elementi che possono offrire ulteriori evidenze nella scelta del modello. 34

GPU condivise: pianificazione, priorità e attribuzione dei costi

Nei progetti pilota le risorse sono spesso dedicate e gli utenti pochi. In produzione, invece, bisogna far convivere carichi concorrenti, livelli di servizio e responsabilità sui costi. Red Hat AI 3.5 introduce controlli pensati per questo scenario: pianificazione fair-share, serving consapevole delle priorità, controllo dell’ammissione e instradamento delle richieste in base alla priorità negli ambienti GPU condivisi. 48

La release aggiunge anche la misurazione dei token per singolo utente e dashboard per lo stato dell’inferenza, l’utilizzo delle GPU e le prestazioni dei modelli. L’intento è permettere agli operatori di capire chi consuma capacità, individuare problemi nel serving e attribuire i costi ai team. 414

Per le organizzazioni dotate di infrastrutture accelerate NVIDIA, il collegamento pratico è un livello operativo, basato su Kubernetes, attorno al serving dei modelli: valutare i carichi, governare l’accesso alle GPU condivise e osservare il servizio in esecuzione. Red Hat AI Inference 3.5 offre inoltre immagini di inferenza ottimizzate, disponibili in generale, per NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi e acceleratori IBM Spyre. 35

RAG e agenti: funzioni estese, ma non tutte già mature per la produzione

Red Hat AI 3.5 amplia anche gli strumenti per applicazioni basate su recupero delle informazioni e agenti. AutoRAG aggiunge funzionalità multilingue per raccolte documentali non in inglese o miste, tra cui rilevamento della lingua, suddivisione dei testi sensibile alla lingua e embedding multilingue nello spazio di ricerca per l’ottimizzazione. 1

Red Hat descrive AutoRAG come uno strumento per valutare e ottimizzare pipeline RAG, con recupero contestuale, test conversazionali e debug visivo. Tuttavia, AutoRAG è una Technology Preview, non una funzionalità in disponibilità generale: le organizzazioni dovrebbero considerare questo stato prima di usarlo come componente portante di un servizio produttivo. 13

La release comprende inoltre template di AI Hub pensati come punto di partenza per flussi di lavoro quali revisione del codice, elaborazione documentale e ricerca. 43

Inferenza sul cloud ibrido anche oltre OpenShift

La release amplia le opzioni di distribuzione per l’inferenza distribuita con llm-d su Kubernetes gestito. La documentazione Red Hat indica Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) e Amazon EKS come piattaforme di riferimento; tra i requisiti figurano Kubernetes 1.33 o successivo e nodi GPU predisposti. 37

Il livello di supporto non è però identico. La documentazione definisce l’inferenza distribuita con llm-d su Amazon EKS una Technology Preview, priva di SLA di produzione e non consigliata per la produzione. Per Azure e CoreWeave Kubernetes Service, invece, Red Hat pubblica indicazioni di deployment che li rendono i percorsi supportati rilevanti in questa release. 3940

Cosa cambia concretamente per i team aziendali

Red Hat riunisce in una stessa direzione di piattaforma quattro attività che nei progetti pilota restano spesso separate:

1. Fiducia prima del rilascio: valutare modelli personalizzati, pipeline RAG e agenti contro rischi di sicurezza e produrre risultati verificabili. 13
2. Controllo durante l’esercizio: allocare GPU condivise con politiche di equità e priorità, misurando anche il consumo di token. 4
3. Visibilità operativa: usare dashboard su inferenza, utilizzo delle risorse e prestazioni del modello per amministrare il servizio dopo il deploy. 14
4. Portabilità dell’infrastruttura: eseguire inferenza ottimizzata su più stack di acceleratori e distribuire inferenza distribuita negli ambienti Kubernetes supportati. 3540

Il posizionamento di Red Hat è quindi quello di una base operativa per sistemi AI che attraversano ambienti ibridi e vengono gestiti come infrastruttura aziendale condivisa, anziché come una serie di esperimenti isolati. 43

Lightwell: iniziativa collegata alla strategia, ma separata da AI 3.5

Nella più ampia strategia IBM-Red Hat rientra anche Lightwell, iniziativa congiunta dedicata alle dipendenze open source di terze parti vulnerabili. A settembre LTM ha annunciato una collaborazione con IBM e Red Hat su Lightwell per la correzione delle vulnerabilità con l’AI. Non è una funzionalità di Red Hat AI 3.5: riguarda la sicurezza della supply chain software, ma richiama la stessa attenzione alla validazione e alla riduzione del rischio operativo. 2425

In sintesi

La promessa principale di Red Hat AI 3.5 è operativa: strumenti per verificare l’AI prima del deploy, governare infrastrutture di accelerazione condivise e osservare il serving dei modelli in ambienti ibridi. La disponibilità generale di EvalHub è il fulcro dell’aggiornamento, mentre pianificazione delle GPU, misurazione e osservabilità affrontano il lavoro quotidiano che i progetti pilota tendono a rimandare. Resta una distinzione essenziale: non tutte le funzioni hanno lo stesso livello di maturità, perché AutoRAG e l’inferenza distribuita su EKS sono ancora Technology Preview. 1339