उत्तरप्रकाशित20 स्रोत
नियम-पुस्तिका और कोड से Memento 3 ने 25 गेम पूरे किए
Memento 3 ने ARC AGI 3 के सार्वजनिक सेट के सभी 25 गेम और 183 स्तर 7,518 चालों में पूरे किए; मानव खिलाड़ियों के लिए दर्ज कुल 17,135 चालों की तुलना में यह लगभग 56% कम है।[8][27] एजेंट ने गेम खेलते हुए नियमों की एक बदलती हुई पुस्तिका बनाई और उसे ऐसे कोड में बदला जिससे संभावित चालों की योजना बनाई जा सके।[1][5][6] इसके प...
प्रकाशितकर्ताGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Memento 3 ने ARC AGI 3 के सार्वजनिक सेट के सभी 25 गेम और 183 स्तर 7,518 चालों में पूरे किए; मानव खिलाड़ियों के लिए दर्ज कुल 17,135 चालों की तुलना में यह लगभग 56% कम है।[8][27]
- एजेंट ने गेम खेलते हुए नियमों की एक बदलती हुई पुस्तिका बनाई और उसे ऐसे कोड में बदला जिससे संभावित चालों की योजना बनाई जा सके।[1][5][6]
- इसके पीछे इस्तेमाल हुआ Claude Opus 5 मॉडल बिना वज़न बदले और गेम विशेष fine tuning के चला।[10][13][14]
- यह उपलब्धि सार्वजनिक बेंचमार्क तक सीमित है; इससे छिपे हुए परीक्षणों या वास्तविक दुनिया के बदलते माहौल में समान प्रदर्शन साबित नहीं होता।[7][27]
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Memento 3 की रिपोर्ट की गई बढ़त भाषा मॉडल को दोबारा प्रशिक्षित करने से नहीं, बल्कि उसकी बाहरी मेमोरी और योजना बनाने की व्यवस्था बदलने से आई। एजेंट ने गेम के नियमों के बारे में एक नियम-पुस्तिका और चलाए जा सकने वाला सिम्युलेटर बार-बार लिखा, परखा और सुधारा; फिर उसी सिम्युलेटर के आधार पर अगली चालों की योजना बनाई।1
5
6 उपलब्ध नतीजे सार्वजनिक बेंचमार्क में इसकी उपलब्धि का समर्थन करते हैं, लेकिन कुछ विशिष्ट आंकड़ों और कार्यान्वयन के उदाहरणों की स्वतंत्र पुष्टि के लिए उपलब्ध स्रोत-अंश पर्याप्त नहीं हैं।
7
27
नतीजा क्या था?
- रिपोर्ट की गई उपलब्धि: Huawei Noah’s Ark Lab और University College London के शोधकर्ताओं के सहयोग से बने Memento 3 ने ARC-AGI-3 के सार्वजनिक सेट के सभी 25 गेम और 183 स्तर पूरे किए। इसने 7,518 चालें चलीं, जबकि उसी सामग्री के लिए मानव खिलाड़ियों का दर्ज कुल 17,135 था। यानी Memento 3 ने लगभग 44% चालें इस्तेमाल कीं—या करीब 56% कम—और RHAE में 100 अंक हासिल किए।
8
27
- बिना मॉडल बदले तुलना: रिपोर्टों के अनुसार, इसका आधार मॉडल Claude Opus 5 था। ARC Prize के आधिकारिक टेस्टिंग ढाँचे में इस मॉडल का RHAE लगभग 40.7 बताया गया है। Memento 3 ने मॉडल के वज़न में बदलाव या अलग-अलग गेम के लिए fine-tuning किए बिना काम किया।
10
13
14
- संभावित वजह: एजेंट ने सिर्फ बातचीत के ज़रिये तर्क करने के बजाय, गेम की गतिविधियों के बारे में स्पष्ट और बदली जा सकने वाली जानकारी बाहरी मेमोरी में रखी। फिर उस जानकारी को ऐसे कोड में बदला जो संभावित नतीजों का अनुमान लगाकर योजना बनाने में मदद करे।
1
5
6 इससे इसकी संरचना बढ़त की एक वजह समझाती है, लेकिन यह नहीं बताती कि हर घटक ने कितना योगदान दिया या बराबर कंप्यूटिंग संसाधनों के साथ तुलना कैसी होती।
- आंकड़ों की पुष्टि की सीमा: उपलब्ध स्रोत-अंशों से Sergey Rodionov के baseline1 के लिए बताए गए 99 RHAE और 8,347 चालों, या मॉडल की उच्चतम reasoning setting के दावे की स्वतंत्र पुष्टि नहीं हो सकी।
“कोड ही मॉडल” कैसे काम करता है?
ARC-AGI-3 ऐसे इंटरैक्टिव गेमों का बेंचमार्क है जिनमें एजेंट को नए दृश्य और चुनौतियाँ मिलती हैं। नियम, लक्ष्य और नियंत्रण पहले से समझाए नहीं जाते। Memento 3 का तरीका इस जानकारी को धीरे-धीरे दर्ज करके आज़माने पर आधारित है:
- नियमों की परिकल्पना दर्ज करना: Markdown में रखी नियम-पुस्तिका में एजेंट वस्तुओं, नियंत्रणों और गेम के व्यवहार के बारे में अपनी मौजूदा समझ लिखता है। जो बात अभी पता न हो, उसे अनिश्चित ही रहने दिया जा सकता है—उसे पक्का नियम मानना ज़रूरी नहीं।
7
- सिम्युलेटर बनाना: एजेंट अपनी परिकल्पनाओं को Python कोड में बदलता है, जो गेम की दुनिया का एक सरल मॉडल बनाता है।
- योजना बनाना और सुधारना: एजेंट इस मॉडल में आगे के संभावित नतीजे देखता है। फिर वह निरीक्षण, विचार, नियमों में संशोधन, कोड तैयार करने और उसकी जाँच करने का चक्र दोहराता है।
- गलत अनुमान सुधारना: एक उदाहरण में एजेंट ने सीखा कि किसी पैड पर कदम रखने से साथ रखे बैज की दिशा 90 डिग्री दक्षिणावर्त घूमती है।
- गलत बदलाव वापस लेना: रिपोर्ट के अनुसार, Git में नियम-पुस्तिका और कोड के बदलाव दर्ज रहते हैं। इससे एजेंट पिछला इतिहास देख सकता है और गलत संशोधन होने पर पुराने संस्करण पर लौट सकता है।
- जाँच की बारीकी: उपलब्ध स्रोत-अंश यह पुष्टि करने के लिए पर्याप्त नहीं हैं कि हर दर्ज चाल को दोबारा चलाकर 64×64 पिक्सेल वाले अनुमानित और वास्तविक फ़्रेमों का मिलान करना इसकी खास सत्यापन प्रक्रिया थी।
यहाँ “खुद में सुधार” का अर्थ है बाहरी ज्ञान और प्रोग्राम को संशोधित करना—जबकि भाषा मॉडल स्थिर रहता है। इसका अर्थ आधार मॉडल को बार-बार दोबारा प्रशिक्षित करना नहीं है।1
6
अतिरिक्त परीक्षण और Pong
- घटक हटाकर किए गए परीक्षण: उपलब्ध अंशों से तीन गेमों में लगभग 9% कम चालों या दो मॉडल वाले परीक्षण में 899 के मुकाबले 597 चालों के दावों की स्वतंत्र पुष्टि नहीं हो सकी। और यदि इन आंकड़ों को सही मान भी लें, तो तीन गेम और एक गेम के नतीजे सीमित संकेत देते हैं; उनसे पूरे बेंचमार्क में हर घटक का योगदान तय नहीं किया जा सकता।
- Pong का नतीजा: शोध-पत्र के उपलब्ध अंश में बताया गया है कि सीखी हुई feedback controller ने जाँचे गए तीनों गेम 21–0 से जीते। हर बार शुरुआत अलग थी और उसके बाद भाषा मॉडल को दोबारा बुलाने की ज़रूरत नहीं पड़ी।
- सीखने की प्रक्रिया की सीमा: लगभग 9,500 फ़्रेमों में नियम सीखने या गेंद के उछलने की भौतिकी का सटीक अनुमान लगाने की पूरी प्रक्रिया की पुष्टि उपलब्ध स्रोत-अंशों से नहीं हो सकी। उपलब्ध जानकारी का सीमित निष्कर्ष यह है कि सीखा हुआ, चलाया जा सकने वाला controller इन तीन परीक्षणों में बाद में बिना लगातार भाषा-मॉडल inference के खेला।
नतीजे को कैसे समझें?
- आधार मॉडल की भूमिका: रिपोर्ट किया गया सिस्टम Claude Opus 5 पर चलता है। इसलिए यह नतीजा उस मॉडल के इर्द-गिर्द बनाई गई एजेंट संरचना की उपलब्धि है—Huawei के बनाए आधार भाषा मॉडल की नहीं।
9
- सार्वजनिक सेट तक दायरा: सभी गेम पूरे करने का दावा ARC-AGI-3 के सार्वजनिक सेट के बारे में है। इससे छिपे हुए मूल्यांकन वाले गेमों में समान प्रदर्शन साबित नहीं होता।
- कम चालों का मतलब कम कुल लागत नहीं: वातावरण में कम चालें चलना अपने-आप यह साबित नहीं करता कि टोकन, समय या पैसे की कुल लागत भी कम थी। उपलब्ध जानकारी से खोज के दौरान हुए टोकन इस्तेमाल की मात्रा तय नहीं की जा सकती।
- दूसरे हालात में काम करने का सवाल खुला है: शोर वाले, अधूरे निरीक्षण वाले या लगातार बदलते वास्तविक वातावरण में इसका प्रदर्शन उपलब्ध साक्ष्यों से साबित नहीं होता। फिलहाल नतीजे स्पष्ट world model सीखने और उस पर आधारित योजना बनाने की एक संभावनाशील विधि दिखाते हैं—सामान्य प्रयोजन वाले, वास्तविक दुनिया में सक्षम एजेंट का प्रमाण नहीं।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"नियम-पुस्तिका और कोड से Memento 3 ने 25 गेम पूरे किए" का संक्षिप्त उत्तर क्या है?
Memento 3 ने ARC AGI 3 के सार्वजनिक सेट के सभी 25 गेम और 183 स्तर 7,518 चालों में पूरे किए; मानव खिलाड़ियों के लिए दर्ज कुल 17,135 चालों की तुलना में यह लगभग 56% कम है।[8][27]
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Memento 3 ने ARC AGI 3 के सार्वजनिक सेट के सभी 25 गेम और 183 स्तर 7,518 चालों में पूरे किए; मानव खिलाड़ियों के लिए दर्ज कुल 17,135 चालों की तुलना में यह लगभग 56% कम है।[8][27] एजेंट ने गेम खेलते हुए नियमों की एक बदलती हुई पुस्तिका बनाई और उसे ऐसे कोड में बदला जिससे संभावित चालों की योजना बनाई जा सके।[1][5][6]
मुझे अभ्यास में आगे क्या करना चाहिए?
इसके पीछे इस्तेमाल हुआ Claude Opus 5 मॉडल बिना वज़न बदले और गेम विशेष fine tuning के चला।[10][13][14]
सूत्र