Wie NVIDIAs AVO-Agent in ARC-AGI-3 100 Prozent erreichte

Für das 100-Prozent-Ergebnis setzte NVIDIA dasselbe grundlegende Modell in ein Ausführungssystem ein, das längere Aufgabenfolgen aufrechterhalten kann. AVO – kurz für Agentic Variation Operators – kann Artefakte untersuchen und verändern, Werkzeuge und Befehle ausführen, Dokumentation konsultieren, Ergebnisse prüfen und seinen Ansatz anhand externer Rückmeldungen überarbeiten.

Praktisch ersetzt AVO damit das klassische Frage-und-Antwort-Schema durch eine wiederholte Arbeitsschleife:

1. Eine Hypothese über die Aufgabe bilden.
2. Über ein verfügbares Werkzeug eine Aktion ausführen.
3. Die Reaktion der Umgebung beobachten.
4. Nützliche Erkenntnisse und Zustände speichern.
5. Prüfen, ob das Ergebnis funktioniert.
6. Die Strategie anpassen und weitermachen.

Das ist für ARC-AGI-3 besonders wichtig. In dem Benchmark müssen Agenten unbekannte interaktive Umgebungen erkunden und Regeln sowie Ziele durch Interaktion erschließen, statt lediglich auf eine vollständig formulierte Eingabe zu antworten.

Was AVO der Architektur hinzufügt

Die gemeldete Architektur verbindet mehrere Funktionen, die einzeln unspektakulär wirken können, gemeinsam über lange Aufgabenhorizonte aber eine große Wirkung entfalten.

Persistenter Speicher

Der persistente Speicher ermöglicht es dem Agenten, Entdeckungen, gescheiterte Ansätze und wichtige Zustände über mehrere Schritte hinweg zu behalten. Jede Aktion wird dadurch nicht als isolierter Austausch behandelt. In einem Benchmark, der auf Erkundung beruht, kann das wiederholte Fehler reduzieren und beim Aufbau eines Arbeitsmodells der unbekannten Umgebung helfen.

Werkzeuge und externes Feedback

AVO wurde als Coding-Agent entwickelt, der Arbeiten untersuchen, Änderungen vornehmen, Befehle ausführen und Ergebnisse validieren kann. Seine Schlussfolgerungen sind dadurch an beobachtbare Resultate gekoppelt: Eine Änderung wird getestet, gemessen und bei Bedarf korrigiert, statt allein deshalb als richtig zu gelten, weil sie plausibel klingt.

Überwachung und Wiederherstellung

Eine übergeordnete Supervisonschicht koordiniert den längeren Prozess. Statt einen einzelnen Modellaufruf dauerhaft jede Entscheidung steuern zu lassen, kann das System den Fortschritt überwachen, unproduktive Richtungen erkennen und die Wiederherstellung unterstützen, wenn sich eine Annahme als falsch erweist. NVIDIA und verwandte Beschreibungen charakterisieren AVO als Kombination aus Speicher, Ausführungswerkzeugen, externem Feedback und Supervision für anhaltend autonome Arbeit.

Zusammengenommen erhält das Modell eine strukturierte Methode, um zu erkunden, zu handeln, zu beobachten und sich zu korrigieren. Das Sprachmodell liefert weiterhin einen großen Teil der Schlussfolgerungen. Der Harness – also die technische Umgebung rund um das Modell – entscheidet jedoch maßgeblich darüber, wie diese Schlussfolgerungen in der Welt umgesetzt werden.

Der Vergleich mit Claude Opus 5 und GPT-5.6 Sol

Die Vergleichswerte sind aufschlussreich, müssen aber zusammen mit ihrem jeweiligen Testaufbau gelesen werden.

Die Werte von AVO und dem allein getesteten Opus 5 messen nicht exakt dasselbe. Beim ersten handelt es sich um ein vollständiges Agentensystem im öffentlichen Datensatz, beim zweiten um einen Modellwert unter einem Benchmark-Harness. Genau diese Unterscheidung ist der Kern der Geschichte.

GPT-5.6 Sol verdeutlicht den Punkt aus einer anderen Perspektive. Die veröffentlichten Ergebnisse von ARC Prize führen Sol bei maximalem Reasoning-Aufwand mit 7,78 Prozent, während OpenAI für öffentliche Aufgaben separat 38,3 Prozent meldete, nachdem der Denkzustand über mehrere Züge erhalten und komprimiert wurde. Diese Werte ersetzen nicht den offiziellen Ranglistenwert im direkten Sinn. Sie zeigen aber, wie stark Speicher- und Zustandsverwaltung die Leistung in Agenten-Benchmarks beeinflussen können.

Die vorsichtigste Schlussfolgerung lautet daher nicht, dass ein Modell grundsätzlich besser ist als alle anderen. Vielmehr hängt die autonome Leistung erheblich davon ab, wie Modell, Speicherstrategie, Werkzeug-Schnittstellen, Zustandsverwaltung und Test-Harness zusammenspielen.

Warum AVO aus der GPU-Kernel-Optimierung stammt

AVOs ursprüngliches Einsatzgebiet war anspruchsvolle Softwareentwicklung und die Optimierung von GPU-Kernels. Dort muss ein Agent eine Implementierung untersuchen, eine Änderung vorschlagen, hardwarebasierte Tests ausführen, Leistungsdaten interpretieren und anschließend entscheiden, was als Nächstes ausprobiert werden soll. Erfolg entsteht durch wiederholte Experimente – nicht durch eine einzige perfekte Codegenerierung.

NVIDIA berichtet, dass AVO in dieser Arbeit mehr als 500 Richtungen untersuchte, 40 Kernel-Versionen eincheckte und auf DGX-B200-Systemen bis zu 10,5 Prozent bessere Leistung als FlashAttention-4 erreichte.

Übertragbar ist dabei nicht unbedingt spezielles Wissen über GPU-Kernels. Übertragbar ist der experimentelle Prozess: einen Kandidaten erzeugen, ihn ausführen, das Ergebnis messen, Erkenntnisse sichern und die Richtung ändern, wenn die Daten der ursprünglichen Hypothese widersprechen. ARC-AGI-3 bietet eine andere Benutzeroberfläche, belohnt aber ebenfalls Agenten, die durch wiederholte Interaktion Strukturen entdecken können.

Weniger Aktionen als der bisherige Vergleichswert

Nach den vorliegenden Angaben löste AVO den gesamten öffentlichen Datensatz in 6.624 Umgebungsaktionen. Für VISTA wurden 7.542 Aktionen berichtet – bei denselben 183 Leveln entspricht das einer Reduktion von ungefähr 12 Prozent.

Das ist relevant, weil die RHAE-Metrik von ARC-AGI-3 nicht nur das Erreichen eines Zielzustands bewertet. Sie berücksichtigt auch die Aktionseffizienz im Verhältnis zur menschlichen Leistung. Ein Agent mit langem Aufgabenhorizont muss seine Erkundung deshalb sorgfältig steuern: Zu viel Ausprobieren kann ein grundsätzlich leistungsfähiges System ineffizient, teuer oder für den praktischen Einsatz unattraktiv machen.

Was das für Unternehmens-KI bedeutet

Für Unternehmen liegt die wichtigste Lehre weniger in einem einzelnen Benchmark-Rekord als in der Architektur. Ein zuverlässiges autonomes System wird voraussichtlich nicht nur aus einem Sprachmodell bestehen, das mit einigen Werkzeugen verbunden ist. Es braucht eine kontrollierte Ausführungsschicht rund um das Modell.

Dazu können gehören:

• persistenter Aufgabenspeicher und ein explizites Zustandsmanagement;
• klar begrenzte und testbare Werkzeug-Schnittstellen;
• Validierungsschranken, bevor wichtige Aktionen akzeptiert werden;
• nachvollziehbare Zwischenschritte und Prüfprotokolle;
• Wiederherstellung, Rollback und Eskalationswege; sowie
• eindeutig definierte Berechtigungen für Aktionen, die Kunden, Systeme oder Daten betreffen.

AVO stärkt außerdem das Argument für modulare Agenten-Stacks. Wenn ein großer Teil des Leistungszuwachses aus dem Harness kommt, sollten Unternehmen Speicher, Werkzeug-Adapter, Evaluierung, Richtlinienkontrollen und Beobachtbarkeit möglichst vom Basismodell trennen. So lassen sich Modelle leichter vergleichen oder austauschen, ohne den gesamten Technologie-Stack neu zu bauen.

Der Benchmark-Rekord ist allerdings kein Beweis für Zuverlässigkeit im Unternehmensalltag. NVIDIAs 100-Prozent-Wert bezieht sich auf den gemeldeten Lauf im öffentlichen ARC-AGI-3-Datensatz. Daraus folgt nicht automatisch eine gleichwertige Leistung bei privaten Testaufgaben, Produktionsdaten oder risikoreichen Geschäftsprozessen. Unabhängige Replikation, Tests auf verborgenen Datensätzen, Analysen von Kosten und Latenz sowie Sicherheits- und Zuverlässigkeitsprüfungen bleiben notwendig.

Das größere Bild

AVOs Ergebnis verschiebt die zentrale Frage von „Welches Modell ist am intelligentesten?“ zu einer operativeren Frage: Welches System kann Kontext bewahren, Werkzeuge nutzen, aus Feedback lernen und sich über einen langen Workflow hinweg zuverlässig erholen?

Das Modell bleibt wichtig. ARC-AGI-3 zeigt jedoch eindrücklich, dass der umgebende Harness darüber entscheiden kann, ob diese Fähigkeit auch in einer unbekannten Umgebung Bestand hat. Für Unternehmen, die autonome KI entwickeln, könnte der entscheidende Wettbewerbsvorteil daher zunehmend in der Qualität des Ausführungssystems liegen – und nicht im einzelnen Modellaufruf.