AnswersPublished18 sources
Memento 3 slog rekord i speltest – utan att träna om språkmodellen
Memento 3 klarade 25 spel och 183 nivåer i ARC AGI 3:s offentliga test med 7 518 drag, jämfört med människors 17 135. Systemet bygger på Claude Opus 5, men modellens vikter uppdaterades inte och modellen finjusterades inte för de enskilda spelen.[10][13][14] I stället skrev agenten en regelbok över vad den lärt sig,...
Publicerad avBilder genererade med GPT Image 2
Research answer
Key takeaways
- Memento 3 klarade 25 spel och 183 nivåer i ARC AGI 3:s offentliga test med 7 518 drag, jämfört med människors 17 135.
- Systemet bygger på Claude Opus 5, men modellens vikter uppdaterades inte och modellen finjusterades inte för de enskilda spelen.[10][13][14]
- I stället skrev agenten en regelbok över vad den lärt sig, gjorde reglerna till körbar kod och använde en enkel simulering för att planera nästa drag.[1][5][6]
- Resultatet gäller den offentliga spelmängden. Det visar inte i sig hur systemet skulle prestera på hemliga testspel eller i verkliga miljöer.[7][27]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Memento 3:s resultat verkar framför allt bero på hur systemet använder sin kunskap – inte på att språkmodellen blivit större eller tränats om. Agenten höll en regelbok över spelets mekanik, översatte reglerna till körbar kod och använde koden för att förutse vad olika drag skulle leda till.1
5
6
Forskarna bakom systemet, från Huawei Noah’s Ark Lab, University College London och samarbetande grupper, rapporterar att Memento 3 klarade samtliga 25 spel och 183 nivåer i den offentliga delen av ARC-AGI-3. Det krävde 7 518 drag, mot 17 135 för människor – ungefär 44 procent av människornas antal, eller cirka 56 procent färre. Systemet fick 100 på måttet RHAE, som jämför effektiviteten i antalet drag med människors.8
27
Så fungerar metoden
ARC-AGI-3 är ett interaktivt test där agenten möter spel i pixelgrafik och själv behöver lista ut hur de fungerar. Memento 3 försöker inte lösa varje situation enbart genom att resonera från den senaste skärmbilden. I stället bygger det upp och justerar en modell av spelets värld.
- En regelbok: En Markdown-fil samlar agentens aktuella hypoteser om föremål, mål och vad olika handlingar gör. Sådant den ännu inte vet kan lämnas öppet i stället för att behandlas som ett fastslaget faktum.
1
7
- En körbar modell: Agenten gör om reglerna till Python-kod som simulerar delar av spelet. Den kan använda simuleringen för att pröva möjliga drag innan den agerar i själva spelet.
5
14
- En återkopplingsloop: Agenten observerar spelet, jämför utfallet med sin förutsägelse och ändrar vid behov både regelboken och koden. Processen beskrivs som observation, reflektion, regeländring, kompilering och verifiering.
Ett exempel som återges i en genomgång av arbetet är att en spelbricka som bärs över en platta roteras 90 grader medurs när den kliver på den. Sådana upptäckter kan skrivas in i regelboken och föras över till simuleringen.5
Det är i den meningen systemet ”förbättrar sig självt”: det ändrar sina externa anteckningar och program, medan språkmodellen förblir oförändrad.1
6 Enligt rapporteringen sparas ändringar i regelbok och kod med Git, så att tidigare versioner kan granskas och återställas om en ändring visar sig vara fel.
14
Vad resultatet visar – och inte visar
Memento 3 använder Claude Opus 5 som grundmodell. Den modellen uppges ha fått omkring 40,7 RHAE i ARC Prize-testets standardupplägg, medan Memento 3-systemet nådde 100. Det är en jämförelse som talar för att sättet modellen organiserar och använder kunskap på spelar roll, men resultaten isolerar inte hur mycket varje enskild del av systemet bidrog.10
14
Forskarna rapporterar också ett Pong-test: efter att ha lärt sig en strategi vann en inlärd, kodad kontrollmetod tre utvärderade omgångar med 21–0, utan fler anrop till språkmodellen under spelet.1 Det är en lovande demonstration av att en modell kan omsättas i en fristående spelstrategi, men resultaten från ett fåtal spel ska inte tolkas som bevis för bred förmåga i andra miljöer.
Det finns också viktiga begränsningar. Den rapporterade fullträffen gäller den offentliga spelmängden, inte hemliga utvärderingsspel.7
27 Färre drag säger dessutom inte i sig något om total beräkningskostnad, tidsåtgång eller antal språkmodellstoken. Och även om systemet presterade starkt i testet visar det inte hur väl metoden fungerar i verkliga situationer med brus, ofullständig information eller föränderliga regler.
Kort sagt: Memento 3 visar hur en fryst språkmodell kan bli betydligt mer handlingskraftig i ett avgränsat speltest när den får bygga, testa och revidera en uttrycklig modell av världen. Resultatet är intressant – men det är inte samma sak som att ha visat en allmän problemlösare för verkliga miljöer.1
7
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Memento 3 slog rekord i speltest – utan att träna om språkmodellen"?
Memento 3 klarade 25 spel och 183 nivåer i ARC AGI 3:s offentliga test med 7 518 drag, jämfört med människors 17 135.
What are the key points to validate first?
Memento 3 klarade 25 spel och 183 nivåer i ARC AGI 3:s offentliga test med 7 518 drag, jämfört med människors 17 135. Systemet bygger på Claude Opus 5, men modellens vikter uppdaterades inte och modellen finjusterades inte för de enskilda spelen.[10][13][14]
What should I do next in practice?
I stället skrev agenten en regelbok över vad den lärt sig, gjorde reglerna till körbar kod och använde en enkel simulering för att planera nästa drag.[1][5][6]
Sources
ai-pulse-lab.comAI 自己给自己写规则书，然后照着升级 · AI Pulse 论文解读
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model