Come l’agente AVO di NVIDIA ha raggiunto il 100% su ARC-AGI-3

NVIDIA afferma che il suo sistema Agentic Variation Operators (AVO) ha ottenuto un punteggio perfetto di 100,00 RHAE sul set pubblico del benchmark interattivo ARC-AGI-3. Abbinato a Claude Opus 5, AVO ha completato tutti i 183 livelli distribuiti in 25 ambienti usando 6.624 azioni.

La parte più interessante non è che un nuovo modello di base abbia improvvisamente risolto il benchmark. È che un’architettura di agente sviluppata per l’ingegneria del software e l’ottimizzazione dei kernel GPU sembra essersi trasferita a un compito di ragionamento interattivo molto diverso.

La lezione principale: AVO ha potenziato il sistema attorno al modello

Nello snapshot pubblicato della classifica, Claude Opus 5 risultava al 30,2%, mentre GPT-5.6 Sol raggiungeva il 7,8% con l’impostazione di valutazione standard.

Il risultato di NVIDIA combina lo stesso modello di base con un sistema di esecuzione progettato per sostenere il lavoro su molti passaggi consecutivi. AVO può ispezionare e modificare artefatti, eseguire strumenti e comandi, consultare documentazione, valutare i risultati e correggere la propria strategia sulla base del feedback ricevuto dall’ambiente.

In pratica, il sistema sostituisce il modello “domanda-risposta” in un solo passaggio con un ciclo continuo:

1. formulare un’ipotesi sul compito;
2. compiere un’azione attraverso uno strumento disponibile;
3. osservare la risposta dell’ambiente;
4. conservare scoperte e stato utile;
5. verificare se il risultato funziona;
6. rivedere la strategia e continuare.

Questo ciclo è particolarmente importante in ARC-AGI-3, dove l’agente deve esplorare ambienti interattivi sconosciuti e dedurne regole e obiettivi attraverso l’interazione, invece di rispondere a una richiesta già completamente definita.

Che cosa aggiunge l’architettura AVO

Il sistema riunisce diverse capacità che, prese singolarmente, possono sembrare semplici, ma che diventano molto più efficaci quando vengono coordinate su un orizzonte operativo lungo.

Memoria persistente

La memoria persistente permette all’agente di conservare scoperte, tentativi falliti e informazioni sullo stato del compito, invece di trattare ogni mossa come una conversazione isolata. In un benchmark basato sull’esplorazione, questo può ridurre gli errori ripetuti e aiutare il sistema a costruire un modello operativo di un ambiente sconosciuto.

Strumenti di esecuzione e feedback esterno

AVO è nato come sistema per agenti di programmazione capace di ispezionare il lavoro, modificarlo, eseguire comandi e validare i risultati. Il ragionamento resta quindi collegato a esiti osservabili: una modifica proposta può essere testata, misurata e corretta, invece di essere considerata valida solo perché appare plausibile.

Supervisione e recupero

Un livello di supervisione aiuta a coordinare il processo nel lungo periodo. Anziché lasciare che una singola chiamata al modello controlli indefinitamente ogni decisione, il sistema può monitorare i progressi, individuare direzioni improduttive e favorire il recupero quando un’ipotesi si rivela errata. NVIDIA e le descrizioni collegate presentano AVO come una combinazione di memoria, strumenti di esecuzione, feedback esterno e supervisione per sostenere il lavoro autonomo.

Nel complesso, questi elementi forniscono al modello una procedura strutturata per esplorare, agire, osservare e correggersi. Il modello continua a svolgere gran parte del ragionamento, ma è l’agent harness, cioè il sistema di orchestrazione che lo circonda, a determinare come quel ragionamento viene applicato all’ambiente.

Il confronto con Claude Opus 5 e GPT-5.6 Sol

Il confronto è utile, ma i punteggi vanno letti insieme alle rispettive modalità di valutazione.

Sistema o configurazione	Risultato ARC-AGI-3 riportato	Contesto della valutazione
AVO con Claude Opus 5	100,00 RHAE	Set pubblico; completati 183 livelli su 183
Claude Opus 5 da solo	30,2%	Snapshot della classifica pubblicata e configurazione standard di confronto
GPT-5.6 Sol	7,8%	Confronto standard o semiprivato verificato
GPT-5.6 Sol con ragionamento conservato e compattazione	38,3%	Esecuzione personalizzata di OpenAI sui compiti pubblici

I dati su AVO e Claude Opus 5 standalone non misurano esattamente la stessa cosa: il primo è il risultato di un sistema completo sul set pubblico, mentre il secondo è il punteggio del modello in un harness di benchmark. Questa distinzione è fondamentale.

GPT-5.6 Sol mostra lo stesso fenomeno da un’altra prospettiva. I risultati pubblicati da ARC Prize indicano per Sol 7,78% alla massima intensità di ragionamento, mentre OpenAI ha riferito separatamente un risultato del 38,3% sui compiti pubblici dopo aver conservato il ragionamento tra i turni e utilizzato la compattazione. Non si tratta di un confronto perfettamente omogeneo con il punteggio ufficiale, ma il dato mostra quanto memoria e gestione dello stato possano influire sulle prestazioni di un agente.

La conclusione più prudente non è che un modello sia universalmente migliore degli altri. È che le prestazioni autonome dipendono in misura significativa dall’interazione tra modello, politica di memoria, interfaccia degli strumenti, gestione dello stato e harness di valutazione.

Perché AVO nasce dall’ottimizzazione dei kernel GPU

L’ambiente originario di AVO era quello dell’ingegneria del software complessa e dell’ottimizzazione dei kernel GPU. In questo contesto, l’agente deve analizzare un’implementazione, proporre una modifica, eseguire test basati sull’hardware, interpretare i dati sulle prestazioni e decidere quale tentativo fare in seguito. Il successo richiede una sperimentazione ripetuta, non una singola generazione corretta.

NVIDIA riferisce che, nel lavoro sui kernel GPU, AVO ha esplorato più di 500 direzioni, ha portato a termine 40 versioni di kernel e ha ottenuto prestazioni fino al 10,5% superiori a FlashAttention-4 sui sistemi DGX B200.

La capacità trasferibile non è necessariamente la conoscenza specifica dei kernel GPU. È il processo sperimentale: generare un candidato, eseguirlo, misurare il risultato, conservare ciò che si è imparato e cambiare direzione quando le evidenze contraddicono l’ipotesi. ARC-AGI-3 presenta un’interfaccia diversa, ma premia anch’esso gli agenti capaci di scoprire la struttura di un problema attraverso interazioni ripetute.

Non solo successo: anche efficienza nelle azioni

Secondo i dati riportati, AVO ha risolto l’intero set pubblico in 6.624 azioni ambientali, contro le 7.542 attribuite a VISTA: una riduzione di circa il 12% a parità di 183 livelli completati.

Il dato conta perché la metrica RHAE di ARC-AGI-3 considera l’efficienza delle azioni rispetto alla prestazione umana, non soltanto il raggiungimento finale dello stato corretto. Un sistema che lavora su orizzonti lunghi deve quindi esplorare con criterio: troppi tentativi possono rendere un agente capace inefficiente, costoso o poco pratico.

Che cosa significa per l’IA nelle aziende

Per le applicazioni aziendali, la lezione più utile è architetturale. Un sistema autonomo affidabile difficilmente sarà soltanto un modello linguistico collegato a qualche strumento: avrà bisogno di un livello di esecuzione governato che circondi il modello.

Questo livello può includere:

• memoria persistente del compito e gestione esplicita dello stato;
• interfacce degli strumenti ristrette e verificabili;
• controlli di validazione prima di accettare azioni importanti;
• passaggi intermedi osservabili e registri di audit;
• procedure di recupero, annullamento e inoltro a un supervisore;
• permessi chiari per le azioni che incidono su clienti, sistemi o dati.

AVO rafforza anche l’idea di stack di agenti modulari. Se una parte consistente dei miglioramenti deriva dall’harness, le organizzazioni possono trarre vantaggio dal separare memoria, adattatori per gli strumenti, suite di valutazione, controlli di policy e osservabilità dal modello di base. In questo modo diventa più semplice confrontare modelli, cambiare fornitore o ottimizzare il sistema per uno specifico flusso di lavoro senza ricostruire l’intero stack.

Il risultato del benchmark, però, non dimostra da solo l’affidabilità in ambito enterprise. Il 100% di NVIDIA è un risultato riferito sul set pubblico di ARC-AGI-3. Non prova prestazioni equivalenti su compiti privati, dati di produzione o processi aziendali ad alto rischio. Restano necessarie replicazioni indipendenti, test su set nascosti, analisi di costi e latenza, verifiche di sicurezza e valutazioni di affidabilità.

La conclusione più ampia

AVO sposta l’attenzione dalla domanda «Qual è il modello più intelligente?» a una questione più operativa: quale sistema sa conservare il contesto, usare gli strumenti, imparare dal feedback e recuperare dagli errori durante un flusso di lavoro lungo?

Il modello resta importante, ma ARC-AGI-3 offre una dimostrazione evidente del fatto che l’harness circostante può determinare se le sue capacità resistono al contatto con un ambiente sconosciuto. Per le organizzazioni che sviluppano sistemi autonomi, il vantaggio competitivo potrebbe dipendere sempre più dalla qualità del sistema di esecuzione, non dalla singola chiamata al modello.