Jak AVO wyniosło Claude Opus 5 do 100% w ARC-AGI-3

NVIDIA informuje, że jej system Agentic Variation Operators (AVO) uzyskał wynik 100,00 RHAE w publicznej części interaktywnego benchmarku ARC-AGI-3. Agent działający z wykorzystaniem Claude Opus 5 ukończył wszystkie 183 poziomy w 25 środowiskach, wykonując łącznie 6624 działania.

Najciekawsze w tym wyniku nie jest to, że nowy model bazowy nagle rozwiązał benchmark. Przełom polega na czymś innym: architektura agenta zaprojektowana początkowo do inżynierii oprogramowania i optymalizacji jąder GPU została przeniesiona do zupełnie innego zadania — interaktywnego rozumowania.

To system wokół modelu zrobił różnicę

W opublikowanym zestawieniu Claude Opus 5 uzyskał 30,2%, a GPT-5.6 Sol — 7,8% w standardowym środowisku testowym.

Wynik AVO powstał przy użyciu tego samego ogólnego modelu bazowego, ale w połączeniu z systemem zaprojektowanym do wieloetapowej pracy. AVO potrafi analizować i modyfikować artefakty, uruchamiać narzędzia i polecenia, korzystać z dokumentacji, oceniać rezultaty oraz zmieniać strategię na podstawie zewnętrznej informacji zwrotnej.

Zamiast jednorazowego schematu „pytanie–odpowiedź” system działa w pętli:

1. formułuje hipotezę dotyczącą zadania;
2. wykonuje działanie za pomocą dostępnego narzędzia;
3. obserwuje reakcję środowiska;
4. zapisuje przydatne odkrycia i stan zadania;
5. sprawdza, czy rezultat jest poprawny;
6. koryguje strategię i przechodzi do kolejnego kroku.

Taki mechanizm ma szczególne znaczenie w ARC-AGI-3. Agent trafia tam do nieznanych środowisk i musi odkryć ich zasady oraz cele poprzez interakcję, zamiast po prostu odpowiedzieć na precyzyjnie opisane polecenie.

Co dokładnie wnosi architektura AVO?

Trwała pamięć

Trwała pamięć pozwala zachować odkryte reguły, nieudane podejścia i istotny stan zadania. Agent nie musi traktować każdego ruchu jak odizolowanej wymiany z modelem. W benchmarku opartym na eksploracji może to ograniczyć powtarzanie tych samych błędów i pomóc w budowaniu roboczego obrazu nieznanego środowiska.

Narzędzia wykonawcze i informacja zwrotna

AVO powstało jako system dla agentów programistycznych. Może analizować pracę, wprowadzać zmiany, uruchamiać polecenia i sprawdzać wyniki. Dzięki temu rozumowanie jest powiązane z obserwowalnym rezultatem: propozycję można przetestować, zmierzyć i poprawić, zamiast uznawać ją za słuszną tylko dlatego, że brzmi wiarygodnie.

Nadzór i odzyskiwanie kontroli

Warstwa nadzorująca pomaga koordynować dłuższy proces. Zamiast pozwalać pojedynczemu wywołaniu modelu na nieograniczone sterowanie zadaniem, system może monitorować postępy, wykrywać nieproduktywne kierunki i wspierać agenta w powrocie na właściwą ścieżkę, gdy jego założenie okaże się błędne. NVIDIA opisuje AVO jako połączenie pamięci, narzędzi wykonawczych, zewnętrznej informacji zwrotnej i nadzoru.

Wspólnie elementy te tworzą uporządkowany cykl: eksploruj, działaj, obserwuj i poprawiaj. Model nadal dostarcza znaczną część rozumowania, ale to otaczający go system decyduje, jak długo i w jaki sposób to rozumowanie zostanie wykorzystane w środowisku.

AVO, Claude Opus 5 i GPT-5.6 Sol — jak czytać te wyniki?

System lub konfiguracja	Raportowany wynik ARC-AGI-3	Kontekst oceny
AVO z Claude Opus 5	100,00 RHAE	Publiczna część testu; ukończone 183 z 183 poziomów
Sam Claude Opus 5	30,2%	Opublikowane zestawienie wyników i standardowa konfiguracja porównawcza
GPT-5.6 Sol	7,8%	Standardowe lub zweryfikowane porównanie częściowo prywatne
GPT-5.6 Sol z zachowaniem rozumowania i kompakcją	38,3%	Niestandardowy przebieg na publicznych zadaniach, raportowany przez OpenAI

Nie są to wyniki tego samego rodzaju. 100,00 RHAE dotyczy kompletnego systemu agentowego działającego na publicznym zbiorze, natomiast 30,2% odnosi się do wyniku modelu ocenianego w określonym harnessie benchmarku. To rozróżnienie jest kluczowe dla całej historii.

GPT-5.6 Sol pokazuje ten sam problem z drugiej strony. ARC Prize podaje dla Sol wynik 7,78% przy maksymalnym wysiłku rozumowania, podczas gdy OpenAI osobno informowało o 38,3% na publicznych zadaniach po zachowaniu rozumowania między turami i zastosowaniu kompakcji. Nie jest to bezpośredni zamiennik oficjalnego wyniku z tabeli, ale eksperyment pokazuje, że pamięć i zarządzanie stanem mogą znacząco zmienić rezultat agenta.

Najbezpieczniejszy wniosek nie brzmi więc: „jeden model jest zawsze lepszy od drugiego”. Bardziej trafne jest stwierdzenie, że skuteczność autonomicznego systemu zależy od współdziałania modelu, polityki pamięci, interfejsu narzędzi, zarządzania stanem i sposobu ewaluacji.

Od optymalizacji jąder GPU do interaktywnego rozumowania

Pierwotnym środowiskiem AVO były trudne zadania z zakresu inżynierii oprogramowania i optymalizacji jąder GPU. Agent musi tam przeanalizować implementację, zaproponować zmianę, uruchomić testy oparte na rzeczywistych parametrach sprzętu, zinterpretować wyniki i zdecydować, co wypróbować dalej. Sukces wymaga wielokrotnych eksperymentów, a nie pojedynczego poprawnego wygenerowania kodu.

NVIDIA podaje, że w pracy nad jądrami GPU AVO zbadało ponad 500 kierunków, zatwierdziło 40 wersji jąder i uzyskało do 10,5% lepszą wydajność niż FlashAttention-4 na systemach DGX B200.

To, co przeniosło się do ARC-AGI-3, nie musi być specjalistyczna wiedza o GPU. Bardziej uniwersalna jest procedura eksperymentalna: wygenerować kandydata, uruchomić go, zmierzyć rezultat, zachować wiedzę i zmienić kierunek, gdy dane nie potwierdzają hipotezy. ARC-AGI-3 ma inny interfejs, ale również premiuje agentów, którzy potrafią odkrywać strukturę problemu poprzez kolejne interakcje.

Nie tylko skuteczność, ale także liczba działań

Według raportu AVO rozwiązało całą publiczną część testu w 6624 działaniach środowiskowych, podczas gdy system VISTA potrzebował — według opublikowanych danych — 7542 działań. Oznacza to redukcję o około 12% przy ukończeniu tych samych 183 poziomów.

To istotne, ponieważ metryka RHAE w ARC-AGI-3 uwzględnia efektywność działań względem człowieka, a nie tylko to, czy agent ostatecznie dotrze do poprawnego stanu. System działający przez wiele etapów musi zatem rozsądnie gospodarować eksploracją. Nadmiar prób i błędów może sprawić, że nawet zdolny agent będzie zbyt wolny, kosztowny lub trudny do zastosowania w praktyce.

Lekcja dla firm wdrażających AI

Dla przedsiębiorstw najważniejszy wniosek ma charakter architektoniczny. Niezawodny system autonomiczny prawdopodobnie nie będzie po prostu dużym modelem językowym podłączonym do kilku narzędzi. Potrzebuje zarządzanej warstwy wykonawczej wokół modelu.

Taka warstwa może obejmować:

• trwałą pamięć zadań i jawne zarządzanie stanem;
• wąskie, testowalne interfejsy narzędzi;
• bramki walidacyjne przed zaakceptowaniem ważnych działań;
• widoczne kroki pośrednie i dzienniki audytowe;
• mechanizmy odzyskiwania, wycofywania zmian i eskalacji;
• jasno określone uprawnienia dotyczące działań wpływających na klientów, systemy lub dane.

Wynik AVO wzmacnia także argument za modułowymi, otwartymi stosami agentowymi. Jeśli duża część poprawy wynika z harnessu, organizacje mogą zyskać, oddzielając pamięć, adaptery narzędzi, zestawy ewaluacyjne, kontrolę zasad i obserwowalność od samego modelu bazowego. Ułatwia to porównywanie modeli, zmianę dostawcy oraz dostosowanie systemu do konkretnego procesu bez budowania całej architektury od początku.

Nie należy jednak traktować tego benchmarku jako dowodu niezawodności w przedsiębiorstwie. Wynik 100% jest raportowanym rezultatem na publicznym zbiorze ARC-AGI-3. Nie dowodzi równoważnej skuteczności na prywatnych zadaniach, danych produkcyjnych ani procesach biznesowych o wysokim ryzyku. Nadal potrzebne są niezależne powtórzenia, testy na ukrytych zbiorach, analiza kosztów i opóźnień, przegląd bezpieczeństwa oraz ewaluacja ryzyka.

Najważniejszy wniosek

AVO przesuwa punkt ciężkości z pytania „który model jest najmądrzejszy?” na bardziej praktyczne pytanie: który system potrafi zachować kontekst, używać narzędzi, uczyć się na podstawie informacji zwrotnej i niezawodnie wracać do działania po błędzie?

Model wciąż ma fundamentalne znaczenie, ale ARC-AGI-3 wyraźnie pokazuje, że otaczający go harness może zdecydować o tym, czy jego możliwości przetrwają kontakt z nieznanym środowiskiem. W przypadku autonomicznej AI przewaga konkurencyjna może więc coraz częściej wynikać z jakości systemu wykonawczego, a nie z samego wywołania modelu.