AnswersPublished20 sources
Memento 3 lærte spillenes regler ved at skrive dem ned og teste dem
Memento 3 gennemførte alle 25 spil og 183 niveauer i ARC AGI 3’s offentlige datasæt med 7.518 handlinger mod menneskers 17.135. Systemet ændrede ikke sprogmodellens vægte.
Udgivet afBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Memento 3 gennemførte alle 25 spil og 183 niveauer i ARC AGI 3’s offentlige datasæt med 7.518 handlinger mod menneskers 17.135.
- Systemet ændrede ikke sprogmodellens vægte. I stedet skrev og reviderede det en regelbog og omsatte sine hypoteser til kode, som kunne bruges til at forudsige og planlægge handlinger.[1][5][6]
- Resultatet gælder det offentlige sæt; det dokumenterer ikke i sig selv tilsvarende præstation på skjulte spil eller i virkelige miljøer.[7][27]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Memento 3’s resultater skyldes ikke, at systemet trænede sin sprogmodel om. I stedet byggede det en ekstern, løbende opdateret forståelse af spillene: Først skrev det sine hypoteser ned, så omsatte det dem til kode og brugte koden til at afprøve mulige handlinger.1
5
6
Det viste sig at være nok til at gennemføre alle 25 spil og 183 niveauer i den offentlige del af ARC-AGI-3 på 7.518 handlinger. Menneskers samlede reference var 17.135 handlinger, og Memento 3 fik den maksimale RHAE-score på 100.8
27
Fra ukendte spil til en brugbar model
ARC-AGI-3 er en interaktiv test med spil, hvor man skal finde ud af, hvordan omgivelserne fungerer, og hvad handlingerne gør. Det er altså ikke bare et spørgsmål om at genkende et mønster: Agenten skal lære reglerne undervejs.7
Memento 3’s tilgang kaldes “Code as Model” – omtrent “kode som model”. Den består især af to dele:
- En regelbog: En Markdown-fil med systemets aktuelle forståelse af spillets objekter, handlinger og dynamik. Usikre eller ukendte regler kan stå som uafklarede i stedet for at blive behandlet som sikre fakta.
1
7
- En kørbar verdensmodel: Regelbogen omsættes til Python-kode, der efterligner de dele af spillet, som agenten har forstået. Modellen kan bruges til at forudsige, hvad der sker efter en handling, og til at planlægge næste træk.
5
14
Arbejdet foregår i en gentagen cyklus: Agenten observerer spillet, overvejer hvad der skete, retter sine regler, opdaterer koden og kontrollerer, om den nye model passer bedre med observationerne.1
5
Et eksempel fra en gennemgang af metoden handler om en figur, der samler et badge op. Agenten lærer, at når figuren træder på en bestemt plade, roterer badget 90 grader med uret.5 Pointen er, at den ikke kun gemmer en beskrivelse, men også gør den til en regel, den kan bruge i sin simulering.
Forskerne beskriver også brug af Git til at holde styr på ændringer i regelbogen og koden. Hvis en rettelse viser sig at være forkert, kan agenten gå tilbage og genfinde en tidligere version.14
Ikke en nytrænet sprogmodel
Memento 3 bruger Claude Opus 5 som grundmodel, og modellen forblev frosset: Forskerne opdaterede ikke dens vægte og finjusterede den ikke særskilt til hvert spil.9
13 Forbedringerne kom i stedet gennem systemets eksterne noter og programmerbare spilmodel.
1
6
Nogle omtaler sammenligner Memento 3’s RHAE på 100 med omkring 40,7 for Claude Opus 5 i ARC Prize-testens standardopsætning.10
14 Det peger på, at arkitekturen kan gøre en forskel, men sammenligningen viser ikke, hvor meget hver enkelt del af systemet bidrog, eller om opsætningerne brugte samme mængde beregning.
Hvad Pong-forsøget viser – og ikke viser
Forskerne afprøvede også metoden i Pong. Ifølge paperets resumé vandt en lært feedback-controller tre evaluerede spil med 21–0 og kunne gøre det uden flere kald til sprogmodellen.1 Det er et eksempel på, at en kørbar strategi kan tage over, når agenten først har lært nok om spillets dynamik.
Det er dog et afgrænset forsøg. Det dokumenterer ikke i sig selv, at systemet kan lære tilsvarende strategier i alle slags spil eller andre miljøer.
Resultatet har klare begrænsninger
De rapporterede tal gælder de 25 offentlige ARC-AGI-3-spil. De fastslår ikke, hvordan Memento 3 ville klare skjulte evalueringsspil.7
27 Og færre handlinger siger ikke i sig selv noget sikkert om samlet tidsforbrug, tokenforbrug eller økonomiske omkostninger.
En omtale nævner desuden en baseline med 99 RHAE og 8.347 handlinger samt et forsøg med to verdensmodeller. De tilgængelige kildeuddrag er ikke tilstrækkelige til uafhængigt at bekræfte disse detaljer. Selv hvis de nævnte tal er korrekte, vil forsøg på få spil ikke alene vise, hvor meget metoden generelt bidrager.
Den sikre konklusion er derfor mere afgrænset: Memento 3 viser, at en frossen sprogmodel kan støttes af en regelbog og en eksekverbar model, som revideres, når forudsigelser ikke passer med spillet. Det er en lovende måde at lære og planlægge på i denne benchmark – men ikke i sig selv bevis for en generel AI, der kan håndtere virkelige miljøer.1
7
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Memento 3 lærte spillenes regler ved at skrive dem ned og teste dem"?
Memento 3 gennemførte alle 25 spil og 183 niveauer i ARC AGI 3’s offentlige datasæt med 7.518 handlinger mod menneskers 17.135.
What are the key points to validate first?
Memento 3 gennemførte alle 25 spil og 183 niveauer i ARC AGI 3’s offentlige datasæt med 7.518 handlinger mod menneskers 17.135. Systemet ændrede ikke sprogmodellens vægte. I stedet skrev og reviderede det en regelbog og omsatte sine hypoteser til kode, som kunne bruges til at forudsige og planlægge handlinger.[1][5][6]
What should I do next in practice?
Resultatet gælder det offentlige sæt; det dokumenterer ikke i sig selv tilsvarende præstation på skjulte spil eller i virkelige miljøer.[7][27]
Sources
ai-pulse-lab.comAI 自己给自己写规则书，然后照着升级 · AI Pulse 论文解读
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model