NVIDIAs AVO løftet Claude Opus 5 til 100 prosent i ARC-AGI-3

NVIDIA oppgir at systemet Agentic Variation Operators, eller AVO, fikk en perfekt 100,00 RHAE på det offentlige datasettet i den interaktive testen ARC-AGI-3. Med Claude Opus 5 fullførte AVO alle 183 nivåene i 25 miljøer ved hjelp av 6 624 handlinger.

Det oppsiktsvekkende er ikke nødvendigvis at en ny grunnmodell plutselig løste testen. Poenget er at en agentarkitektur utviklet for programvareutvikling og optimalisering av GPU-kjerner, kunne overføres til en helt annen type interaktiv resonnering.

Det korte svaret: AVO forbedret systemet rundt modellen

Claude Opus 5 alene er oppført med 30,2 prosent i et publisert øyeblikksbilde av ARC-AGI-3-resultatlisten, mens GPT-5.6 Sol fikk 7,8 prosent i standardoppsettet.

AVO-resultatet ble oppnådd ved å bruke den samme overordnede modellen sammen med et agentsystem som er laget for å holde arbeidet gående over mange trinn. Systemet kan undersøke og endre artefakter, kjøre verktøy og kommandoer, slå opp dokumentasjon, evaluere resultater og justere strategien basert på tilbakemeldinger fra omgivelsene.

I praksis erstatter AVO en enkel spørsmål-og-svar-modell med en løkke:

1. Lag en hypotese om oppgaven.
2. Utfør en handling gjennom et tilgjengelig verktøy.
3. Observer hvordan miljøet reagerer.
4. Lagre nyttige oppdagelser og tilstand.
5. Kontroller om resultatet fungerer.
6. Revider strategien og fortsett.

Dette er særlig relevant i ARC-AGI-3, der agenten må utforske ukjente interaktive miljøer og finne ut av regler og mål gjennom handlinger. Oppgaven kan ikke bare løses ved å svare på en ferdig formulert instruksjon.

Hva tilfører AVO-arkitekturen?

Arkitekturen samler flere egenskaper som hver for seg er enkle å beskrive, men som blir langt kraftigere når de koordineres over en lang oppgave.

Vedvarende minne

Vedvarende minne gjør at agenten kan ta vare på oppdagelser, mislykkede forsøk og nyttig tilstandsinformasjon, i stedet for å behandle hvert steg som en isolert samtale. I en test som bygger på utforskning, kan dette redusere gjentatte feil og hjelpe systemet med å utvikle en fungerende modell av et ukjent miljø.

Verktøy og ekstern tilbakemelding

AVO ble utviklet som et system for kodeagenter som kan undersøke arbeid, gjøre endringer, kjøre kommandoer og kontrollere resultatene. Resonneringen blir dermed koblet til noe som kan observeres: Et forslag kan testes, måles og forbedres, i stedet for å bli godkjent bare fordi det høres overbevisende ut.

Supervisjon og gjenoppretting

Et supervisjonslag bidrar til å styre den lange arbeidsprosessen. I stedet for at ett enkelt modellkall får kontrollere alle beslutninger over lang tid, kan systemet følge med på fremdriften, oppdage uproduktive retninger og bidra til å hente seg inn når en antakelse viser seg å være feil. NVIDIA og beskrivelser av AVO fremhever kombinasjonen av minne, utførelsesverktøy, ekstern tilbakemelding og supervisjon for vedvarende autonomt arbeid.

Samlet gir dette modellen en strukturert måte å utforske, handle, observere og korrigere på. Modellen står fortsatt for mye av resonneringen, men det er agentlaget som avgjør hvordan resonneringen blir omsatt til handling i miljøet.

Slik står resultatet seg mot Claude Opus 5 og GPT-5.6 Sol

Sammenligningen er interessant, men tallene må ses i lys av hvordan de ble målt.

System eller konfigurasjon	Oppgitt ARC-AGI-3-resultat	Evalueringskontekst
AVO med Claude Opus 5	100,00 RHAE	Offentlig datasett; 183 av 183 nivåer fullført
Claude Opus 5 alene	30,2 %	Publisert øyeblikksbilde av resultatlisten og standardoppsett
GPT-5.6 Sol	7,8 %	Standard eller verifisert sammenligning
GPT-5.6 Sol med bevart resonnering og komprimering	38,3 %	Egenrapportert kjøring på offentlige oppgaver

AVO-tallet og resultatet for Opus 5 alene er ikke helt samme type måling. Det første er et komplett agentsystem på det offentlige datasettet, mens det andre er en modellscore under en bestemt teststruktur. Denne forskjellen er sentral for å forstå historien.

GPT-5.6 Sol illustrerer det samme fra en annen vinkel. ARC Prize oppgir Sol til 7,78 prosent ved maksimal resonneringsinnsats, mens OpenAI separat rapporterte 38,3 prosent på offentlige oppgaver etter å ha bevart resonnering på tvers av runder og brukt komprimering. Dette er ikke en direkte erstatning for den offisielle resultatlistescoren, men viser hvor mye minne og håndtering av tilstand kan påvirke en agenttest.

Den tryggeste konklusjonen er derfor ikke at én modell er best i alle sammenhenger. Det er at autonom ytelse i stor grad avhenger av at modellen, minnepolitikken, verktøygrensesnittet, strategien for tilstandshåndtering og testoppsettet fungerer godt sammen.

Hvorfor AVO startet med optimalisering av GPU-kjerner

AVOs opprinnelige bruksområde var krevende programvareutvikling og optimalisering av GPU-kjerner. Her må agenten undersøke en implementasjon, foreslå en endring, kjøre maskinvarebaserte tester, tolke ytelsesdata og avgjøre hva den skal prøve neste gang. Det krever gjentatte eksperimenter, ikke bare én korrekt kodegenerering.

NVIDIA oppgir at AVO utforsket mer enn 500 retninger, lagret 40 kjerneversjoner og oppnådde opptil 10,5 prosent bedre ytelse enn FlashAttention-4 på DGX B200-systemer.

Det som kan overføres til ARC-AGI-3, er ikke nødvendigvis spesifikk kunnskap om GPU-kjerner. Det er arbeidsmetoden: Lag et forslag, kjør det, mål resultatet, ta vare på det du har lært og skift retning når bevisene ikke støtter hypotesen. ARC-AGI-3 har et annet grensesnitt, men belønner også agenter som finner struktur gjennom gjentatt samhandling.

AVO la også vekt på effektiv bruk av handlinger

AVO skal ha løst hele det offentlige datasettet med 6 624 handlinger i miljøet, sammenlignet med 7 542 for VISTA. Det tilsvarer en reduksjon på rundt 12 prosent, samtidig som begge systemene fullførte de samme 183 nivåene.

Dette er viktig fordi RHAE-målingen i ARC-AGI-3 tar hensyn til handlingseffektivitet sammenlignet med mennesker – ikke bare om agenten til slutt kommer frem til riktig tilstand. Et system som skal arbeide over lang tid, må derfor utforske med en viss disiplin. For mye prøving og feiling kan gjøre en ellers kapabel agent ineffektiv, dyr eller lite praktisk.

Hva betyr dette for virksomheter?

For bedrifter er den viktigste lærdommen arkitektonisk. Et pålitelig autonomt system vil neppe være en språkmodell koblet til noen få verktøy. Det trenger et styrt utførelseslag rundt modellen.

Et slikt lag kan blant annet inneholde:

• vedvarende oppgaveminne og eksplisitt tilstandshåndtering;
• avgrensede og testbare verktøygrensesnitt;
• valideringspunkter før viktige handlinger godkjennes;
• synlige mellomsteg og revisjonslogger;
• mekanismer for gjenoppretting, tilbakerulling og eskalering; og
• tydelige tillatelser for handlinger som påvirker kunder, systemer eller data.

AVO styrker også argumentet for modulære agentstakker. Hvis en stor del av ytelsesforbedringen kommer fra agentlaget, kan virksomheter ha nytte av å holde minne, verktøykoblinger, testpakker, retningslinjer og overvåking adskilt fra grunnmodellen. Da blir det enklere å sammenligne modeller, bytte leverandør eller tilpasse systemet til en bestemt arbeidsflyt uten å bygge alt på nytt.

Benchmark-resultatet bør likevel ikke tolkes som et bevis på at systemet er klart for alle typer virksomhetsbruk. NVIDIAs tall på 100 prosent gjelder et rapportert resultat på det offentlige datasettet i ARC-AGI-3. Det dokumenterer ikke tilsvarende ytelse på skjulte oppgaver, produksjonsdata eller forretningsprosesser med høy risiko. Uavhengig replikering, testing på skjulte datasett, analyser av kostnad og forsinkelse samt sikkerhets- og risikovurderinger er fortsatt nødvendig.

Den bredere lærdommen

AVOs resultat flytter oppmerksomheten fra spørsmålet «Hvilken modell er smartest?» til et mer praktisk spørsmål: Hvilket system klarer å bevare kontekst, bruke verktøy, lære av tilbakemeldinger og hente seg inn gjennom en lang arbeidsflyt?

Modellen er fortsatt viktig, men ARC-AGI-3 viser på en tydelig måte at laget rundt modellen kan avgjøre om kapasiteten faktisk overlever møtet med et ukjent miljø. For virksomheter som bygger autonome AI-systemer, kan konkurransefortrinnet i økende grad ligge i kvaliteten på utførelsessystemet – ikke i selve modellkallet.