Hoe NVIDIA’s AVO-agent een perfecte score behaalde op ARC-AGI-3

NVIDIA meldt dat zijn systeem Agentic Variation Operators (AVO) samen met Claude Opus 5 een perfecte 100,00 RHAE behaalde op de openbare set van de interactieve benchmark ARC-AGI-3. De agent voltooide alle 183 niveaus in 25 omgevingen en gebruikte daarvoor 6.624 acties.

De opvallendste conclusie is niet dat Claude Opus 5 plotseling zelfstandig de benchmark heeft opgelost. Het verschil zit vooral in het systeem rond het model: een agentarchitectuur die is ontworpen om langdurig te werken, feedback te verwerken en eerdere ontdekkingen vast te houden.

De kern: AVO verbeterde het systeem rond het model

In een gepubliceerde momentopname van het ARC-AGI-3-klassement stond Claude Opus 5 op 30,2 procent, terwijl GPT-5.6 Sol onder de standaardtestopstelling 7,8 procent behaalde.

De NVIDIA-score werd behaald met hetzelfde algemene onderliggende model, maar in combinatie met een uitvoeringssysteem dat over veel stappen heen kan blijven werken. AVO kan artefacten inspecteren en aanpassen, tools en opdrachten uitvoeren, documentatie raadplegen, resultaten beoordelen en zijn aanpak bijstellen op basis van externe feedback.

In de praktijk vervangt AVO een eenmalig vraag-en-antwoordpatroon door een doorlopende lus:

1. Een hypothese over de taak formuleren.
2. Via een beschikbare tool een actie uitvoeren.
3. De reactie van de omgeving observeren.
4. Nuttige ontdekkingen en de actuele toestand opslaan.
5. Controleren of het resultaat werkt.
6. De strategie aanpassen en doorgaan.

Dat proces is bijzonder relevant voor ARC-AGI-3. In deze benchmark krijgen agents te maken met onbekende interactieve omgevingen. Ze moeten regels en doelstellingen afleiden door te experimenteren, in plaats van simpelweg te reageren op een volledig uitgewerkte opdracht.

Wat voegt AVO toe?

De architectuur brengt verschillende mogelijkheden samen die afzonderlijk eenvoudig klinken, maar vooral krachtig worden wanneer ze over een lange taakperiode worden gecoördineerd.

Persistent geheugen

Dankzij persistent geheugen kan de agent ontdekkingen, mislukte strategieën en relevante toestand bewaren. Elke actie staat daardoor niet op zichzelf. Bij een benchmark die draait om verkenning kan dat herhaalde fouten beperken en helpen bij het opbouwen van een werkend beeld van een onbekende omgeving.

Tools en externe feedback

AVO werd ontwikkeld als een codeeragent die werk kan inspecteren, wijzigingen kan aanbrengen, opdrachten kan uitvoeren en resultaten kan valideren. Het redeneren is daarmee gekoppeld aan waarneembare uitkomsten: een voorgestelde wijziging kan worden getest en gemeten, in plaats van alleen aannemelijk te klinken.

Supervisie en herstel

Een toezichtlaag helpt het langere proces te coördineren. In plaats van één modelaanroep onbeperkt alle beslissingen te laten nemen, kan het systeem de voortgang bewaken, onproductieve richtingen herkennen en helpen herstellen wanneer een aanname niet blijkt te kloppen. NVIDIA en beschrijvingen van AVO noemen geheugen, uitvoertools, externe feedback en supervisie als de belangrijkste onderdelen voor langdurig autonoom werk.

Samen geven deze functies het model een gestructureerde manier om te verkennen, te handelen, te observeren en zichzelf te corrigeren. Het model levert nog altijd een groot deel van het redeneerwerk, maar het agent-harnas — de softwarelaag die het model aanstuurt — bepaalt hoe dat redeneren in de omgeving wordt uitgevoerd.

Vergelijking met Claude Opus 5 en GPT-5.6 Sol

De scores zijn interessant, maar moeten worden gelezen in het licht van hun verschillende testopstellingen.

Systeem of configuratie	Gemeld ARC-AGI-3-resultaat	Evaluatiecontext
AVO met Claude Opus 5	100,00 RHAE	Openbare set; 183 van 183 niveaus voltooid
Claude Opus 5 alleen	30,2%	Gepubliceerde klassementsmomentopname en standaardvergelijking
GPT-5.6 Sol	7,8%	Standaard- of geverifieerde semiprivate vergelijking
GPT-5.6 Sol met behouden redenering en compaction	38,3%	Door OpenAI gemelde aangepaste run op openbare taken

De cijfers voor AVO en Claude Opus 5 zijn niet exact hetzelfde soort meting. De eerste betreft een volledig agentsysteem op de openbare set; de tweede is een modelscore binnen een benchmarkharnas. Juist dat onderscheid vormt de kern van het verhaal.

GPT-5.6 Sol laat vanuit een andere hoek hetzelfde zien. ARC Prize vermeldt voor Sol 7,78 procent bij maximale redeneerinspanning, terwijl OpenAI afzonderlijk 38,3 procent rapporteerde op openbare taken nadat het redeneerproces tussen beurten werd behouden en ingekort via compaction. Die resultaten zijn geen één-op-één vervanging voor de officiële klassementscore, maar ze laten wel zien dat geheugen en toestandbeheer de uitkomst van een agentbenchmark sterk kunnen beïnvloeden.

De veiligste conclusie is daarom niet dat één model overal beter is. Autonome prestaties hangen in belangrijke mate af van het model, het geheugenbeleid, de toolinterface, de manier waarop de toestand wordt beheerd en het evaluatieharnas — in samenhang.

Waarom AVO zijn oorsprong heeft in GPU-kerneloptimalisatie

De oorspronkelijke werkomgeving van AVO bestond uit complexe software-engineering en GPU-kerneloptimalisatie. Een agent moet daar een implementatie inspecteren, een wijziging voorstellen, hardwaretests uitvoeren, prestatiefeedback interpreteren en beslissen wat de volgende stap wordt. Succes vereist herhaald experimenteren, niet één perfecte codegeneratie.

NVIDIA meldt dat AVO tijdens het GPU-kernelwerk meer dan 500 richtingen verkende, 40 kernelversies vastlegde en op DGX B200-systemen tot 10,5 procent betere prestaties dan FlashAttention-4 behaalde.

De overdraagbare vaardigheid is dus niet per se specifieke kennis van GPU-kernels. Het gaat om het experimentele proces: een kandidaat genereren, die uitvoeren, het resultaat meten, de opgedane kennis bewaren en van koers veranderen wanneer het bewijs de hypothese tegenspreekt. ARC-AGI-3 heeft een heel andere interface, maar beloont eveneens agents die door herhaalde interactie structuur weten te ontdekken.

Niet alleen succesvol, maar ook efficiënt

AVO zou de volledige openbare set hebben opgelost in 6.624 omgevingsacties, tegenover 7.542 voor VISTA. Dat komt neer op ongeveer 12 procent minder acties voor dezelfde 183 niveaus.

Dat verschil is relevant omdat de RHAE-maatstaf van ARC-AGI-3 niet alleen kijkt of een agent een eindtoestand bereikt. De score houdt ook rekening met de efficiëntie van acties ten opzichte van menselijke prestaties.

Een agent met een lange taakplanning moet zijn verkenning daarom zorgvuldig organiseren. Te veel vallen-en-opstaan kan een systeem dat inhoudelijk capabel is alsnog inefficiënt, duur of onpraktisch maken.

Wat betekent dit voor bedrijfs-AI?

Voor toepassingen binnen bedrijven is de belangrijkste les architecturaal. Een betrouwbaar autonoom systeem is waarschijnlijk meer dan een taalmodel dat aan een paar tools is gekoppeld. Rond het model is een beheerde uitvoeringslaag nodig.

Die laag kan onder meer bestaan uit:

• persistent taakgeheugen en expliciet toestandbeheer;
• beperkte, goed testbare toolinterfaces;
• validatiestappen voordat belangrijke acties worden geaccepteerd;
• zichtbare tussenstappen en auditlogs;
• herstel-, terugdraai- en escalatiemogelijkheden; en
• duidelijke rechten voor acties die klanten, systemen of gegevens raken.

AVO onderstreept bovendien het belang van modulaire agentstacks. Als een groot deel van de prestatiewinst uit het harnas komt, kunnen organisaties geheugen, tooladapters, evaluatiesuites, beleidscontroles en observability beter loskoppelen van het onderliggende model. Daardoor wordt het eenvoudiger om modellen te vergelijken, van leverancier te wisselen of een systeem voor een specifieke workflow af te stemmen zonder de volledige stack opnieuw te bouwen.

De benchmarkscore is echter geen bewijs van bedrijfsbetrouwbaarheid. NVIDIA’s cijfer van 100 procent is een gerapporteerd resultaat op de openbare ARC-AGI-3-set. Het toont niet aan dat AVO vergelijkbaar presteert op verborgen benchmarktaken, productiegegevens of risicovolle bedrijfsprocessen. Onafhankelijke reproductie, testen op niet-openbare datasets, analyses van kosten en latency, beveiligingscontroles en veiligheidsevaluaties blijven noodzakelijk.

De bredere les

AVO verschuift de vraag van ‘Welk model is het slimst?’ naar een meer operationele vraag: Welk systeem kan context bewaren, tools gebruiken, van feedback leren en zich betrouwbaar herstellen tijdens een langdurige workflow?

Het model blijft belangrijk. Maar ARC-AGI-3 laat volgens deze resultaten duidelijk zien dat de omliggende softwarelaag bepaalt of die capaciteit ook standhoudt in een onbekende omgeving. Voor organisaties die autonome AI bouwen, kan het concurrentievoordeel daarom steeds vaker liggen in de kwaliteit van het uitvoeringssysteem — en niet in de modelaanroep alleen.