AnswersPublished20 sources
Memento 3 leerde gameregels door ze op te schrijven en te simuleren
Memento 3 voltooide volgens de gerapporteerde resultaten alle 25 games en 183 levels van de openbare ARC AGI 3 set in 7.518 acties, tegenover 17.135 voor menselijke spelers.[8][27] De winst kwam niet door het trainen van het taalmodel. De agent hield een regelboek bij, zette dat om in code en gebruikte een simulator...
Gepubliceerd doorAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Memento 3 voltooide volgens de gerapporteerde resultaten alle 25 games en 183 levels van de openbare ARC AGI 3 set in 7.518 acties, tegenover 17.135 voor menselijke spelers.[8][27]
- De winst kwam niet door het trainen van het taalmodel. De agent hield een regelboek bij, zette dat om in code en gebruikte een simulator om acties vooruit te plannen.[1][5][6]
- De onderliggende taalmodelgewichten bleven bevroren; de gerapporteerde opzet gebruikte Claude Opus 5 zonder gamespecifieke finetuning.[10][13][14]
- De resultaten gaan over de openbare gameset en bewijzen niet dat de aanpak even goed werkt op verborgen tests of in de echte wereld.[7][27]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Memento 3 verbeterde zijn prestaties niet door het onderliggende taalmodel opnieuw te trainen. De agent bouwde buiten dat model om een aanpasbaar geheugen op: een regelboek met hypotheses over hoe een game werkt, plus uitvoerbare code die die regels simuleert. Op basis van die simulatie kon het systeem acties plannen en zijn aannames bijstellen wanneer voorspellingen niet klopten.1
5
6
Volgens de gerapporteerde resultaten voltooide Memento 3 alle 25 games en 183 levels van de openbare ARC-AGI-3-benchmark in 7.518 acties. Menselijke spelers hadden voor dezelfde set 17.135 acties nodig. Dat komt neer op ongeveer 44 procent van het aantal menselijke acties, oftewel circa 56 procent minder. De agent behaalde een RHAE-score van 100, de maximale score voor relatieve efficiëntie in acties.8
27
Van onbekende game naar eigen handleiding
ARC-AGI-3 presenteert interactieve games zonder eerst de regels, doelen of bediening uit te leggen. Memento 3 moet dus al spelend uitzoeken wat objecten doen en welke acties effect hebben. De aanpak, door de onderzoekers omschreven als ‘Code as Model’, bestaat uit een terugkerende cyclus:1
7
- Regels vastleggen: de agent noteert in een Markdown-bestand wat hij denkt te weten over de objecten, acties en spelregels. Wat nog onduidelijk is, kan open blijven staan in plaats van als feit te worden behandeld.
1
7
- Een simulator schrijven: die hypotheses worden omgezet in uitvoerbare Python-code die een vereenvoudigde versie van de game voorstelt.
5
14
- Acties vooruit plannen: de agent gebruikt de simulator om mogelijke zetten te verkennen voordat hij een actie in de echte game uitvoert.
- Aannames herzien: als de game anders reageert dan voorspeld, past de agent het regelboek en de code aan en controleert hij de nieuwe versie.
Een voorbeeld uit een beschrijving van de methode: de agent leert dat een badge die over een pad wordt gedragen 90 graden met de klok mee draait.5 Het belangrijke verschil met gewone redenering op basis van losse observaties is dat die kennis wordt vastgelegd en omgezet in een model waarmee de agent kan plannen.
De onderzoekers gebruikten volgens berichtgeving ook Git om wijzigingen aan het regelboek en de code bij te houden. Als een aanpassing niet goed bleek te werken, kon de agent de wijzigingsgeschiedenis bekijken en een eerdere versie herstellen.14
Het taalmodel bleef bevroren
De gerapporteerde versie van Memento 3 gebruikte Claude Opus 5 als basismodel, zonder de modelgewichten bij te werken of het model voor afzonderlijke games te finetunen.10
13
14 De gemelde winst zit dus in de extra geheugen- en planningslaag rond het model. Een vergelijking meldt dat Claude Opus 5 alleen ongeveer 40,7 RHAE haalde in de officiële testopstelling, tegenover 100 voor Memento 3.
10
14
Dat is een opvallend resultaat, maar het laat niet op zichzelf zien hoeveel de afzonderlijke onderdelen bijdragen. Ook is hiermee geen vergelijking gemaakt die alle factoren, zoals rekenkracht, gelijk houdt.
Een aparte test met Pong
De onderzoekers testten de aanpak ook met Pong. Volgens het artikel over de methode won een aangeleerde feedbackcontroller elk van drie geëvalueerde potjes met 21–0. Bij die potjes waren er verschillende startsituaties en waren geen verdere oproepen aan het taalmodel nodig.1 Dat resultaat laat zien dat een eenmaal aangeleerde strategie als uitvoerbaar programma kan worden gebruikt, zonder dat het taalmodel tijdens elke actie opnieuw hoeft mee te redeneren.
Wat de resultaten wel en niet aantonen
De gerapporteerde prestatie geldt voor de openbare set van ARC-AGI-3. Ze bewijst niet dat Memento 3 ook verborgen games even goed aankan.7
27 En minder acties betekent niet automatisch minder totale kosten: de beschikbare informatie geeft geen betrouwbare vergelijking van bijvoorbeeld rekentijd, vertraging of geldelijke kosten.
Ook is het basismodel volgens de berichtgeving Claude Opus 5, niet een door Huawei ontwikkeld taalmodel.9
13 De resultaten zijn dus vooral bewijs voor de mogelijke waarde van een expliciet, aanpasbaar wereldmodel rond een bevroren taalmodel. Of die aanpak ook betrouwbaar werkt in rommelige, veranderlijke situaties buiten games, blijft een open vraag.
1
7
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Memento 3 leerde gameregels door ze op te schrijven en te simuleren"?
Memento 3 voltooide volgens de gerapporteerde resultaten alle 25 games en 183 levels van de openbare ARC AGI 3 set in 7.518 acties, tegenover 17.135 voor menselijke spelers.[8][27]
What are the key points to validate first?
Memento 3 voltooide volgens de gerapporteerde resultaten alle 25 games en 183 levels van de openbare ARC AGI 3 set in 7.518 acties, tegenover 17.135 voor menselijke spelers.[8][27] De winst kwam niet door het trainen van het taalmodel. De agent hield een regelboek bij, zette dat om in code en gebruikte een simulator om acties vooruit te plannen.[1][5][6]
What should I do next in practice?
De onderliggende taalmodelgewichten bleven bevroren; de gerapporteerde opzet gebruikte Claude Opus 5 zonder gamespecifieke finetuning.[10][13][14]
Sources
ai-pulse-lab.comAI 自己给自己写规则书，然后照着升级 · AI Pulse 论文解读
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model