AnswersPublished20 sources
Memento 3 slo alle 25 spillene ved å skrive sin egen regelbok
Memento 3 fullførte 25 spill og 183 nivåer i den offentlige ARC AGI 3 testen på 7 518 handlinger, mot 17 135 for menneskelige spillere.[8][27] Systemet bygget en regelbok og en kjørbar modell av spillene, og forbedret dem når forutsigelsene ikke stemte med det som skjedde.[1][5][6] Språkmodellen Claude Opus 5 ble ik...
Publisert avBilder generert med GPT Image 2
Research answer
Key takeaways
- Memento 3 fullførte 25 spill og 183 nivåer i den offentlige ARC AGI 3 testen på 7 518 handlinger, mot 17 135 for menneskelige spillere.[8][27]
- Systemet bygget en regelbok og en kjørbar modell av spillene, og forbedret dem når forutsigelsene ikke stemte med det som skjedde.[1][5][6]
- Språkmodellen Claude Opus 5 ble ikke trent på nytt eller finjustert for enkeltspill; forbedringene skjedde gjennom ekstern hukommelse og kode.[10][13][14]
- Resultatet gjelder den offentlige testpakken. Det dokumenterer ikke i seg selv tilsvarende prestasjoner på skjulte spill eller i den virkelige verden.[7][27]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Memento 3 fullførte alle 25 spillene og 183 nivåene i den offentlige ARC-AGI-3-testen med 7 518 handlinger. Menneskelige spillere brukte til sammen 17 135 på samme oppgaver. Det tilsvarer rundt 44 prosent av menneskenes handlinger – eller omtrent 56 prosent færre – og ga systemet en RHAE-score på 100.8
27
Det spesielle er hvordan agenten kom dit: Den lærte ikke ved å endre språkmodellens parametere. I stedet skrev og reviderte den en regelbok og et lite, kjørbart program som simulerte spillverdenen. Modellen kunne så bruke simuleringen til å prøve ut trekk før den handlet i selve spillet.1
5
6
Spill uten instruksjoner
ARC-AGI-3 er en interaktiv test der agenten møter spill i pikselgrafikk uten å få forklart reglene, målene eller hvilke handlinger den kan utføre. Den må finne ut hvordan verden fungerer ved å observere hva som skjer når den prøver seg fram.7
Memento 3s metode, kalt «Code as Model», gir agenten to verktøy for å holde orden på det den finner ut:
- En regelbok: Et Markdown-dokument med hypoteser om objekter, handlinger, spillmekanikker og mål. Regler den ikke kjenner, kan stå åpne i stedet for å bli behandlet som sikre.
1
5
- En kjørbar verdensmodell: Python-kode som gjengir agentens forståelse av spillet. Den kan brukes til å forutsi hva som vil skje etter ulike trekk og planlegge videre.
6
Arbeidet går i en løkke: Agenten observerer, vurderer hva den har lært, oppdaterer reglene, endrer koden og kontrollerer om modellen stemmer med spillet.1
5 Et eksempel fra omtalen av metoden er at en brikke som bæres over en bestemt flate, roteres 90 grader med klokken. Når agenten oppdager en slik mekanikk, kan den skrive den inn i regelboken og oppdatere simuleringen.
5
Poenget er altså ikke at grunnmodellen lærer på nytt for hvert spill. Det er agentens eksterne kunnskap og program som endres, mens språkmodellen forblir fryst.1
6 Ifølge rapporteringen er grunnmodellen Claude Opus 5, ikke en Huawei-utviklet språkmodell.
9
13
Hva tallene viser – og ikke viser
I den offisielle ARC Prize-testrammen oppgis Claude Opus 5 alene å ha oppnådd rundt 40,7 RHAE, mens Memento 3 fikk 100. RHAE står for «Relative Human Action Efficiency» og måler handlingseffektivitet relativt til menneskelige spillere.10
13
14 Sammenligningen viser resultatene som er rapportert for systemet, men isolerer ikke hvor mye hver enkelt del av metoden bidro, eller effekten av beregningsressursene.
Forskerne skal også ha brukt Git til å ta vare på endringer i regelboken og koden. Da kan agenten gå gjennom tidligere versjoner og hente tilbake en tidligere utgave hvis en endring viser seg å være feil.14
Et annet forsøk brukte metoden i Pong. Ifølge forskningsartikkelens sammendrag vant en innlært kontrollør tre testomganger 21–0, uten flere kall til språkmodellen under spillingen.1 Det viser at en strategi kan kjøres videre som et eget program etter at agenten har lært seg reglene. Det er likevel et avgrenset forsøk, ikke bevis på at metoden fungerer like godt i alle spill eller situasjoner.
En sterk prestasjon, med klare forbehold
Resultatet gjelder de 25 offentlige spillene i ARC-AGI-3. Det sier ikke i seg selv hvordan Memento 3 vil prestere på skjulte testspill.7
27 Og færre handlinger betyr ikke automatisk lavere samlet kostnad: Tallene forteller ikke hvor mye datakraft, tid eller bruk av språkmodellen som gikk med.
Memento 3 viser en lovende måte å kombinere språkmodeller med eksplisitte regler, simulering og planlegging på. Men hvor godt metoden generaliserer til ukjente eller skiftende miljøer, er fortsatt et åpent spørsmål.1
7
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Memento 3 slo alle 25 spillene ved å skrive sin egen regelbok"?
Memento 3 fullførte 25 spill og 183 nivåer i den offentlige ARC AGI 3 testen på 7 518 handlinger, mot 17 135 for menneskelige spillere.[8][27]
What are the key points to validate first?
Memento 3 fullførte 25 spill og 183 nivåer i den offentlige ARC AGI 3 testen på 7 518 handlinger, mot 17 135 for menneskelige spillere.[8][27] Systemet bygget en regelbok og en kjørbar modell av spillene, og forbedret dem når forutsigelsene ikke stemte med det som skjedde.[1][5][6]
What should I do next in practice?
Språkmodellen Claude Opus 5 ble ikke trent på nytt eller finjustert for enkeltspill; forbedringene skjedde gjennom ekstern hukommelse og kode.[10][13][14]
Sources
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model