NVIDIA’nın AVO sistemi Claude Opus 5’i ARC-AGI-3’te yüzde 100’e taşıdı

NVIDIA’nın 100 puanlık sonucu ise aynı genel modelin, çok adımlı görevleri sürdürebilmek için tasarlanmış bir çalışma sistemiyle birlikte kullanılmasına dayanıyor. AVO; çıktıları inceleyip değiştirebiliyor, araç ve komut çalıştırabiliyor, dokümantasyona başvurabiliyor, sonuçları değerlendirebiliyor ve dış geri bildirime göre yaklaşımını yeniden düzenleyebiliyor.

Pratikte sistem, tek seferlik soru-cevap yaklaşımı yerine şu döngüyü izliyor:

1. Görev hakkında bir hipotez oluşturuyor.
2. Kullanılabilir araçlar üzerinden bir eylem gerçekleştiriyor.
3. Ortamın tepkisini gözlemliyor.
4. Faydalı keşifleri ve durumu hafızaya alıyor.
5. Sonucun işe yarayıp yaramadığını kontrol ediyor.
6. Stratejisini güncelleyip sürece devam ediyor.

Bu yaklaşım ARC-AGI-3 için özellikle önemli. Çünkü benchmark, ajandan tam olarak açıklanmamış yabancı ortamlara girmesini, kuralları ve hedefleri etkileşim yoluyla keşfetmesini bekliyor; yalnızca ayrıntılı bir komuta yanıt vermesini değil.

AVO’nun mimarisinde neler var?

AVO’nun başarısı, tek tek bakıldığında tanıdık görünen ancak uzun görevlerde birlikte çalışan birkaç bileşene dayanıyor.

Kalıcı hafıza

Kalıcı hafıza, ajanın keşiflerini, başarısız denemelerini ve görev durumunu her adımda sıfırlamak yerine korumasını sağlıyor. Keşif temelli bir benchmark’ta bu özellik, aynı hataların tekrarlanmasını azaltabilir ve ajanın yabancı bir ortam için işleyen bir zihinsel model oluşturmasına yardımcı olabilir.

Araçlar ve dış geri bildirim

AVO, başlangıçta kodlama ajanı olarak geliştirildi. Sistem çalışmaları inceleyebiliyor, değişiklik yapabiliyor, komut çalıştırabiliyor ve sonuçları doğrulayabiliyor. Böylece akıl yürütme, yalnızca kulağa makul gelen bir öneri olarak kalmıyor; uygulanıyor, ölçülüyor ve gerektiğinde değiştiriliyor.

Gözetim ve toparlanma

Bir denetim katmanı, uzun süren sürecin koordinasyonuna yardımcı oluyor. Tek bir model çağrısının tüm kararları sınırsız biçimde yönetmesi yerine sistem, ilerlemeyi izleyebiliyor, verimsiz yönleri fark edebiliyor ve yanlış bir varsayım ortaya çıktığında toparlanmayı destekleyebiliyor. NVIDIA ve ilgili açıklamalar, AVO’yu kalıcı hafıza, yürütme araçları, dış geri bildirim ve gözetimi bir araya getiren bir yapı olarak tanımlıyor.

Bu bileşenler, modele keşfetme, eyleme geçme, gözlemleme ve düzeltme için düzenli bir çerçeve sunuyor. Akıl yürütmenin önemli bölümü hâlâ modelden geliyor; ancak bu akıl yürütmenin ortam içinde nasıl sürdürüldüğünü belirleyen unsur, modelin çevresindeki çalışma sistemi.

Claude Opus 5 ve GPT-5.6 Sol ile karşılaştırma

Bu rakamlar aynı tür ölçüm olarak okunmamalı. AVO sonucu, herkese açık sette tüm görevleri tamamlayan bir ajan sistemi sonucuyken Claude Opus 5’in yüzde 30,2’lik değeri benchmark koşullarındaki model puanını gösteriyor. Hikâyenin merkezinde tam olarak bu fark bulunuyor.

GPT-5.6 Sol da benzer bir noktaya işaret ediyor. ARC Prize’ın yayımladığı sonuçlarda Sol, en yüksek akıl yürütme çabasıyla yüzde 7,78 alıyor. OpenAI ise akıl yürütme durumunu turlar arasında koruyup sıkıştırma kullandığı özel bir çalıştırmada herkese açık görevlerde yüzde 38,3 bildirdi. Bu sonuç, resmi sıralama puanının birebir yerine geçmiyor; ancak hafıza ve durum yönetiminin ajan benchmark’larında performansı ciddi biçimde değiştirebileceğini gösteriyor.

Bu nedenle en güvenli sonuç, modellerden birinin her koşulda diğerinden üstün olduğu değil. Otonom performans; modelin yanı sıra hafıza politikası, araç arayüzü, durum yönetimi ve değerlendirme altyapısının birlikte nasıl tasarlandığına da bağlı.

GPU çekirdeği optimizasyonundan ARC-AGI-3’e

AVO’nun ilk çalışma alanı, zorlu yazılım mühendisliği ve GPU çekirdeği optimizasyonuydu. Böyle bir görevde ajan mevcut bir uygulamayı inceliyor, değişiklik öneriyor, donanım üzerinde test çalıştırıyor, performans geri bildirimini yorumluyor ve sonraki denemeye karar veriyor. Başarı, tek seferde doğru kodu üretmekten çok tekrarlı deney yapmayı gerektiriyor.

NVIDIA, GPU çekirdeği çalışmalarında AVO’nun 500’den fazla yönü araştırdığını, 40 çekirdek sürümünü kaydettiğini ve DGX B200 sistemlerinde FlashAttention-4’e kıyasla yüzde 10,5’e varan performans artışı elde ettiğini bildiriyor.

ARC-AGI-3’e aktarılabilen yetenek, mutlaka GPU çekirdekleri hakkındaki özel bilgi değil. Daha genel olan şey deneysel süreç: aday bir çözüm üretmek, çalıştırmak, sonucu ölçmek, öğrenileni saklamak ve kanıt hipotezle uyuşmadığında yön değiştirmek. ARC-AGI-3 farklı bir arayüz sunsa da tekrarlı etkileşim yoluyla yapıyı keşfedebilen ajanları ödüllendiriyor.

Daha az eylemle tamamlanan görevler

AVO’nun herkese açık setin tamamını 6.624 ortam eylemiyle çözdüğü bildiriliyor. Bu sayı, aynı 183 seviyeyi tamamladığı bildirilen VISTA’nın 7.542 eyleminden yaklaşık yüzde 12 daha düşük.

Bu ayrıntı önemli; çünkü ARC-AGI-3’ün RHAE metriği yalnızca görevin sonunda başarıya ulaşılıp ulaşılmadığına bakmıyor. İnsan performansına kıyasla eylem verimliliğini de hesaba katıyor. Dolayısıyla uzun soluklu bir sistem, keşif sürecini dikkatli yönetmek zorunda: Gereğinden fazla deneme, yetenekli bir ajanı verimsiz, pahalı veya pratikte kullanılamaz hâle getirebilir.

Kurumsal yapay zekâ için anlamı ne?

Kurumsal uygulamalar açısından en önemli ders mimariyle ilgili. Güvenilir bir otonom sistemin yalnızca birkaç araca bağlanmış bir büyük dil modelinden ibaret olması beklenmiyor. Modelin çevresinde, kullanımı yöneten bir yürütme katmanına ihtiyaç var.

Bu katman şunları içerebilir:

• kalıcı görev hafızası ve açık durum yönetimi;
• dar kapsamlı, test edilebilir araç arayüzleri;
• önemli eylemler kabul edilmeden önce doğrulama kapıları;
• izlenebilir ara adımlar ve denetim kayıtları;
• toparlanma, geri alma ve gerektiğinde eskalasyon yolları;
• müşterileri, sistemleri veya verileri etkileyen işlemler için net yetki sınırları.

AVO örneği, modüler ajan yığınlarının önemini de güçlendiriyor. Performans artışının önemli bölümü çalışma sisteminden geliyorsa şirketler; hafıza katmanını, araç bağdaştırıcılarını, değerlendirme paketlerini, politika kontrollerini ve gözlemlenebilirlik araçlarını temel modelden ayrı tutabilir. Böylece model sağlayıcısını değiştirmek veya sistemi belirli bir iş akışına göre ayarlamak, tüm yapıyı baştan kurmayı gerektirmez.

Ancak bu benchmark sonucu kurumsal güvenilirliğin kanıtı olarak görülmemeli. NVIDIA’nın yüzde 100’lük rakamı, ARC-AGI-3’ün herkese açık setinde bildirilmiş bir sonuç. Bu sonuç, gizli benchmark görevlerinde, üretim verilerinde veya yüksek riskli iş süreçlerinde eşdeğer performansı kanıtlamıyor. Bağımsız tekrar çalıştırmalar, gizli set testleri, maliyet ve gecikme analizleri, güvenlik incelemeleri ve emniyet değerlendirmeleri hâlâ gerekli.

Büyük resim

AVO’nun sonucu, “En akıllı model hangisi?” sorusunun yanına daha operasyonel bir soru ekliyor: Hangi sistem bağlamı koruyabiliyor, araçları kullanabiliyor, geri bildirimden öğrenebiliyor ve uzun bir iş akışında güvenilir biçimde toparlanabiliyor?

Model elbette önemini koruyor. Ancak ARC-AGI-3, modelin kapasitesinin yabancı bir ortamla karşılaştığında işe yarar bir performansa dönüşüp dönüşmeyeceğini, çevresindeki ajan altyapısının belirleyebileceğini çarpıcı biçimde gösteriyor. Otonom yapay zekâ geliştiren kuruluşlar için rekabet avantajı, giderek yalnızca model çağrısında değil, modelin etrafındaki yürütme sisteminin kalitesinde yatabilir.