NVIDIA के AVO ने Claude Opus 5 को ARC-AGI-3 में 100% तक कैसे पहुंचाया

असली बदलाव मॉडल में नहीं, उसके आसपास बने सिस्टम में है

NVIDIA का कहना है कि उसके Agentic Variation Operators (AVO) सिस्टम ने interactive ARC-AGI-3 benchmark के सार्वजनिक सेट में 100.00 RHAE का perfect score हासिल किया। Claude Opus 5 पर चलने वाले इस सिस्टम ने 25 environments के सभी 183 levels को 6,624 actions में पूरा किया।

यहां सबसे महत्वपूर्ण बात यह नहीं है कि कोई नया foundation model अचानक benchmark हल करने लगा। बड़ा बदलाव उस long-horizon agent architecture में है, जिसे मूल रूप से software engineering और GPU-kernel optimization जैसे लंबे, कई चरणों वाले कामों के लिए बनाया गया था और फिर एक बिल्कुल अलग interactive reasoning task पर लागू किया गया।

AVO ने Claude Opus 5 की क्षमता को कैसे बढ़ाया

प्रकाशित ARC-AGI-3 leaderboard snapshot में Claude Opus 5 का standalone score 30.2% था, जबकि standard harness में GPT-5.6 Sol का score 7.8% दर्ज किया गया।

NVIDIA के AVO परिणाम में इसी सामान्य underlying model को ऐसे execution system के साथ जोड़ा गया, जो लंबे समय तक काम जारी रख सकता है। यह सिस्टम artifacts को inspect और modify कर सकता है, tools और commands चला सकता है, documentation देख सकता है, परिणामों का मूल्यांकन कर सकता है और external feedback के आधार पर रणनीति बदल सकता है।

व्यावहारिक रूप से AVO एक बार के सवाल-जवाब की जगह यह लगातार चलने वाला चक्र अपनाता है:

1. Task के बारे में एक hypothesis बनाना।
2. उपलब्ध tool के जरिए action लेना।
3. Environment की प्रतिक्रिया देखना।
4. उपयोगी discoveries और state को सुरक्षित रखना।
5. जांचना कि परिणाम सही है या नहीं।
6. रणनीति बदलकर आगे बढ़ना।

ARC-AGI-3 जैसे benchmark में यह loop खास तौर पर उपयोगी है। यहां agent को अनजान interactive environments में जाकर interaction के जरिए rules और objectives समझने होते हैं; उसे केवल पूरी तरह स्पष्ट prompt का जवाब नहीं देना होता।

AVO की architecture में क्या खास है

Persistent memory

Persistent memory agent को discoveries, असफल प्रयासों और उपयोगी state को याद रखने देती है। हर move को अलग-अलग exchange मानने के बजाय agent अपने पिछले अनुभवों का इस्तेमाल कर सकता है। Exploration-आधारित benchmark में इससे वही गलती बार-बार दोहराने की संभावना घट सकती है और अनजान environment का working model बनाया जा सकता है।

Execution tools और बाहरी feedback

AVO को coding-agent system के रूप में विकसित किया गया था। यह काम को inspect कर सकता है, बदलाव कर सकता है, commands चला सकता है और परिणामों को validate कर सकता है। इसका reasoning वास्तविक, देखे जा सकने वाले परिणामों से जुड़ा रहता है: कोई प्रस्ताव केवल इसलिए स्वीकार नहीं होता कि वह सुनने में सही लगता है—उसे test, measure और revise किया जा सकता है।

Supervision और recovery

एक supervisory layer पूरे लंबे process को coordinate करने में मदद करती है। इससे एक ही model call को अनिश्चित समय तक हर निर्णय का नियंत्रण देने के बजाय system progress पर नजर रख सकता है, बेकार दिशा पहचान सकता है और गलत assumption सामने आने पर recovery में सहायता कर सकता है। NVIDIA और संबंधित विवरण AVO को memory, execution tools, external feedback और supervision के संयोजन के रूप में पेश करते हैं।

इन सभी हिस्सों के साथ model को explore, act, observe और correct करने का एक व्यवस्थित तरीका मिलता है। Reasoning का बड़ा हिस्सा model देता है, लेकिन वह reasoning environment में कितनी प्रभावी तरह आगे बढ़ेगी, यह harness तय करता है।

Claude Opus 5 और GPT-5.6 Sol से तुलना

तुलना उपयोगी है, लेकिन इन scores के evaluation setups एक जैसे नहीं हैं।

System या configuration	रिपोर्ट किया गया ARC-AGI-3 परिणाम	Evaluation context
AVO + Claude Opus 5	100.00 RHAE	Public set; 183 में से 183 levels पूरे
Claude Opus 5 अकेले	30.2%	Published leaderboard snapshot और standard comparison setup
GPT-5.6 Sol	7.8%	Standard या verified semi-private comparison
Retained reasoning और compaction के साथ GPT-5.6 Sol	38.3%	OpenAI का public tasks पर custom run

AVO का 100.00 RHAE परिणाम और standalone Opus score एक ही प्रकार के measurement नहीं हैं। पहला पूरे agent system का public-set परिणाम है, जबकि दूसरा benchmark harness के तहत model score है। यही अंतर इस खबर को समझने की कुंजी है।

GPT-5.6 Sol भी इसी बात को दूसरे तरीके से दिखाता है। ARC Prize के प्रकाशित परिणामों में maximum reasoning effort पर Sol का score 7.78% है, जबकि OpenAI ने reasoning को turns के बीच बनाए रखने और compaction इस्तेमाल करने के बाद public tasks पर 38.3% का अलग परिणाम बताया। यह official leaderboard score का सीधा विकल्प नहीं है, लेकिन इससे पता चलता है कि memory और state handling agent benchmark के परिणाम को काफी बदल सकते हैं।

सबसे सुरक्षित निष्कर्ष यह नहीं है कि कोई एक model हर परिस्थिति में बेहतर है। निष्कर्ष यह है कि autonomous performance model, memory policy, tool interface, state-management strategy और evaluation harness के संयुक्त काम पर काफी निर्भर करती है।

GPU-kernel optimization से ARC-AGI-3 तक

AVO का शुरुआती environment कठिन software engineering और GPU-kernel optimization था। वहां agent को implementation inspect करनी होती है, बदलाव का प्रस्ताव बनाना होता है, hardware-grounded tests चलाने होते हैं, performance feedback समझना होता है और अगला कदम तय करना होता है। सफलता एक बार में सही code generate करने से नहीं, बल्कि लगातार प्रयोग करने से मिलती है।

NVIDIA के अनुसार, GPU-kernel work में AVO ने 500 से अधिक दिशाओं का परीक्षण किया, 40 kernel versions commit किए और DGX B200 systems पर FlashAttention-4 की तुलना में 10.5% तक बेहतर performance हासिल की।

यहां दूसरी जगह transfer होने वाली क्षमता GPU kernels का खास ज्ञान नहीं, बल्कि प्रयोग की प्रक्रिया है: candidate बनाना, उसे execute करना, परिणाम मापना, सीख को सुरक्षित रखना और evidence hypothesis से मेल न खाने पर दिशा बदलना। ARC-AGI-3 का interface अलग है, लेकिन वहां भी repeated interaction के जरिए structure खोजने वाले agents को लाभ मिलता है।

कम actions में पूरा benchmark

रिपोर्ट के मुताबिक AVO ने पूरा public set 6,624 environment actions में हल किया। इसकी तुलना में VISTA के लिए 7,542 actions रिपोर्ट किए गए थे—यानी वही 183 levels पूरे करते हुए करीब 12% कम actions।

यह फर्क इसलिए महत्वपूर्ण है क्योंकि ARC-AGI-3 का RHAE (Relative Human Action Efficiency) metric केवल task पूरा होने को नहीं, बल्कि human performance की तुलना में action efficiency को भी ध्यान में रखता है। Long-horizon agent को इसलिए exploration को नियंत्रित करना पड़ता है; बहुत ज्यादा trial and error किसी सक्षम सिस्टम को महंगा, धीमा या अव्यावहारिक बना सकता है।

Enterprise AI के लिए इसका क्या मतलब है

Enterprise applications के लिए सबसे उपयोगी सबक architecture से जुड़ा है। भरोसेमंद autonomous system शायद केवल ऐसा LLM नहीं होगा, जिसे कुछ tools से जोड़ दिया गया हो। Model के चारों ओर एक governed execution layer की जरूरत होगी।

इस layer में शामिल हो सकते हैं:

• persistent task memory और स्पष्ट state management;
• सीमित और testable tool interfaces;
• महत्वपूर्ण actions को स्वीकार करने से पहले validation gates;
• दिखाई देने वाले intermediate steps और audit logs;
• recovery, rollback और escalation paths; तथा
• customers, systems या data को प्रभावित करने वाले actions के लिए स्पष्ट permissions।

AVO modular agent stacks के पक्ष में भी तर्क मजबूत करता है। यदि performance gain का बड़ा हिस्सा harness से आता है, तो organizations के लिए memory, tool adapters, evaluation suites, policy controls और observability को foundation model से अलग रखना उपयोगी हो सकता है। इससे model provider बदलना, models की तुलना करना या किसी खास workflow के लिए system tune करना आसान होगा—बिना पूरी architecture दोबारा बनाने के।

फिर भी इस benchmark result को enterprise reliability का प्रमाण नहीं माना जाना चाहिए। NVIDIA का 100% figure ARC-AGI-3 के public set पर reported result है। इससे private benchmark tasks, production data या high-risk business processes पर समान performance साबित नहीं होती। Independent replication, hidden-set testing, cost और latency analysis, security review तथा safety evaluation अभी भी जरूरी हैं।

बड़ा निष्कर्ष

AVO का परिणाम ध्यान को “सबसे intelligent model कौन-सा है?” से हटाकर एक अधिक व्यावहारिक सवाल पर ले जाता है: कौन-सा system context बनाए रख सकता है, tools का उपयोग कर सकता है, feedback से सीख सकता है और लंबे workflow में भरोसेमंद तरीके से recover कर सकता है?

Model महत्वपूर्ण रहेगा, लेकिन ARC-AGI-3 यह स्पष्ट उदाहरण देता है कि surrounding harness किसी model की क्षमता को अनजान environment में टिकाए रखने में निर्णायक हो सकता है। Autonomous AI बनाने वाले organizations के लिए competitive advantage शायद केवल model call में नहीं, बल्कि उस execution system की गुणवत्ता में बढ़ता जाएगा।