AntwortenVeröffentlicht20 Quellen
Memento 3: Mit Regelbuch und Code durch alle 25 ARC-Spiele
Memento 3 schaffte laut Bericht alle 25 Spiele und 183 Level des öffentlichen ARC AGI 3 Benchmarks in 7.518 Aktionen – gegenüber 17.135 Aktionen bei menschlichen Spielern.[8][27] Der Agent aktualisierte nicht die Gewichte seines Sprachmodells. Stattdessen hielt er erlernte Regeln in einem externen Regelbuch fest und...
Veröffentlicht vonBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Memento 3 schaffte laut Bericht alle 25 Spiele und 183 Level des öffentlichen ARC AGI 3 Benchmarks in 7.518 Aktionen – gegenüber 17.135 Aktionen bei menschlichen Spielern.[8][27]
- Der Agent aktualisierte nicht die Gewichte seines Sprachmodells. Stattdessen hielt er erlernte Regeln in einem externen Regelbuch fest und übersetzte sie in Code, mit dem er Züge vorausplanen konnte.[1][5][6]
- Das System nutzte Claude Opus 5 als Basismodell. Der berichtete Erfolg belegt daher die Leistung der Agentenarchitektur in diesem Test, nicht die eines Huawei Sprachmodells.[9][13]
- Die Ergebnisse beziehen sich auf die öffentlichen Spiele. Sie belegen nicht, dass Memento 3 auch auf geheimen Tests oder in wechselhaften realen Umgebungen ebenso gut funktioniert.[7][27]
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Memento 3 gelang der Sprung nicht, indem es sein Sprachmodell neu trainierte. Der Agent legte sein Wissen über die Spielregeln in einem externen Regelbuch ab, übersetzte dieses in ein ausführbares Modell der Spielwelt und nutzte den Code, um mögliche Züge vorauszuplanen. Wenn die Vorhersage nicht zur tatsächlichen Spielsituation passte, konnte er seine Regeln und den Code überarbeiten.1
5
6
Laut den veröffentlichten Ergebnissen absolvierte das System alle 25 Spiele und 183 Level des öffentlichen ARC-AGI-3-Benchmarks mit 7.518 Aktionen. Für dieselbe Sammlung werden 17.135 Aktionen menschlicher Spieler angegeben. Das entspricht rund 44 Prozent der menschlichen Zugzahl – beziehungsweise etwa 56 Prozent weniger Aktionen – und einem RHAE-Wert von 100.8
27 RHAE steht für „Relative Human Action Efficiency“ und vergleicht die benötigte Zahl an Aktionen mit menschlichen Ergebnissen.
13
Vom Regelbuch zum eigenen Simulator
ARC-AGI-3 stellt Agenten interaktive Spiele, deren Abläufe sie zunächst erkunden müssen. Memento 3 hielt fest, was es über Objekte, Aktionen und Spielmechaniken herausgefunden hatte – und ließ Unbekanntes ausdrücklich offen, statt es als gesicherte Regel zu behandeln.1
7
Anschließend übertrug der Agent seine Annahmen in Python-Code. Dieser bildete ein vereinfachtes, ausführbares Modell der Spielwelt, in dem sich mögliche Aktionen durchspielen und für die Planung nutzen ließen.5
14 Der Lernzyklus bestand demnach aus Beobachten, Nachdenken, Regeln überarbeiten, Code anpassen und prüfen.
1
5
Ein Beispiel aus einer Beschreibung der Methode: Der Agent lernte, dass ein Feld ein getragenes Abzeichen um 90 Grad im Uhrzeigersinn dreht.5 Änderungen am Regelbuch und am Code wurden laut einem Bericht außerdem mit Git versioniert. So konnte das System frühere Fassungen prüfen und bei einem fehlerhaften Eingriff zu einer älteren Version zurückkehren.
14
Das ist eine andere Art von „Selbstverbesserung“ als das Nachtrainieren eines Sprachmodells: Memento 3 veränderte sein extern gespeichertes Wissen und seine Programme, während die Modellgewichte eingefroren blieben.1
6
Was die Ergebnisse zeigen – und was nicht
Als Basismodell verwendete Memento 3 Claude Opus 5; es handelt sich also nicht um ein von Huawei entwickeltes Sprachmodell. Berichte nennen für das Modell allein im ARC-Prize-Testverfahren einen RHAE-Wert von ungefähr 40,7. Memento 3 erzielte mit seiner zusätzlichen Regelbuch- und Simulationsarchitektur den Höchstwert von 100.9
10
13
Der Vergleich spricht dafür, dass die Art, wie ein Agent Wissen über eine Spielwelt festhält und für die Planung einsetzt, entscheidend sein kann. Er zeigt jedoch nicht, welchen Anteil einzelne Bestandteile der Architektur hatten oder wie die Systeme bei exakt gleichem Rechenaufwand abschneiden würden.
Auch weitere Zahlen, die in einzelnen Berichten auftauchen, lassen sich anhand der verfügbaren Auszüge nicht unabhängig bestätigen – darunter ein Vergleich mit einem angeblichen Ausgangswert von 99 RHAE und 8.347 Aktionen sowie bestimmte Angaben zu zusätzlichen Modellvarianten. Solche Werte sollten daher nicht als gesicherte benchmarkweite Ergebnisse verstanden werden.
Pong als zusätzlicher Test
Die Forschungsarbeit berichtet außerdem von einem Feedback-Controller für Pong: In drei ausgewerteten Partien gewann er jeweils 21:0, nachdem eine Spielstrategie erlernt worden war. Für diese Partien waren laut Bericht keine weiteren Anfragen an das Sprachmodell nötig.1
Das ist ein interessantes Zusatzbeispiel dafür, dass ein aus Regeln und Code abgeleiteter Controller nach der Lernphase eigenständig handeln kann. Es ersetzt aber keinen breiteren Nachweis, dass die Methode in allen Spielen oder in realen, unübersichtlichen Situationen zuverlässig funktioniert.
Öffentliche Spiele sind nicht die ganze Prüfung
Der berichtete Erfolg bezieht sich auf die 25 öffentlichen Spiele und 183 Level. Daraus folgt nicht automatisch, dass Memento 3 auch unbekannte, zurückgehaltene Testspiele meistern würde.7
27 Ebenso sagen weniger Spielzüge allein nichts darüber aus, wie viel Rechenzeit, Modellabfragen oder Kosten insgesamt anfielen.
Der Befund ist deshalb vor allem ein starkes Ergebnis für diese Benchmark-Aufgabe: Ein eingefrorenes Sprachmodell kann durch ein überarbeitbares externes Regelwerk und ein ausführbares Weltmodell deutlich effizienter planen. Ob sich dieser Ansatz gleichermaßen auf neue Benchmarks und reale Umgebungen übertragen lässt, bleibt offen.1
7
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Memento 3: Mit Regelbuch und Code durch alle 25 ARC-Spiele“?
Memento 3 schaffte laut Bericht alle 25 Spiele und 183 Level des öffentlichen ARC AGI 3 Benchmarks in 7.518 Aktionen – gegenüber 17.135 Aktionen bei menschlichen Spielern.[8][27]
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Memento 3 schaffte laut Bericht alle 25 Spiele und 183 Level des öffentlichen ARC AGI 3 Benchmarks in 7.518 Aktionen – gegenüber 17.135 Aktionen bei menschlichen Spielern.[8][27] Der Agent aktualisierte nicht die Gewichte seines Sprachmodells. Stattdessen hielt er erlernte Regeln in einem externen Regelbuch fest und übersetzte sie in Code, mit dem er Züge vorausplanen konnte.[1][5][6]
Was soll ich als nächstes in der Praxis tun?
Das System nutzte Claude Opus 5 als Basismodell. Der berichtete Erfolg belegt daher die Leistung der Agentenarchitektur in diesem Test, nicht die eines Huawei Sprachmodells.[9][13]
Quellen
arxiv.orgMemento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks
note.com【AI論文まとめ 10/10】コードの世界で育つエージェント ...
ai-pulse-lab.comAI 自己给自己写规则书，然后照着升级 · AI Pulse 论文解读
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model