AnswersPublished20 sources
Memento 3 подолала всі 25 ігор ARC-AGI-3 завдяки власній «книзі правил»
За опублікованими результатами, Memento 3 пройшла всі 25 ігор і 183 рівні відкритого набору ARC AGI 3 за 7 518 дій — проти 17 135 дій у людей. Система працювала на Claude Opus 5 без оновлення ваг чи окремого донавчання для кожної гри.
ОпублікувавЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- За опублікованими результатами, Memento 3 пройшла всі 25 ігор і 183 рівні відкритого набору ARC AGI 3 за 7 518 дій — проти 17 135 дій у людей.
- Система працювала на Claude Opus 5 без оновлення ваг чи окремого донавчання для кожної гри.
- Ключова ідея — «код як модель»: агент фіксує гіпотези про правила, перевіряє їх на практиці та використовує виконувану модель світу, щоб планувати наступні дії.[1][5][6]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Успіх не в перенавчанні моделі
ARC-AGI-3 — інтерактивний тест, у якому агент має розбиратися з незнайомими піксельними іграми та їхньою логікою під час проходження. Memento 3 впоралася з усіма 25 іграми та 183 рівнями відкритого набору за 7 518 дій. Для порівняння, на ті самі завдання люди витратили 17 135 дій. За показником відносної ефективності дій людини — RHAE — система отримала 100 балів.8
27
Головна особливість результату: команда не перенавчала базову мовну модель. Memento 3 використовувала Claude Opus 5 без змін ваг і без донавчання на окремих іграх.10
13
14 У стандартному тестовому середовищі сам Claude Opus 5 отримав близько 40,7 RHAE, тоді як Memento 3 — 100. Це порівняння вказує на важливість архітектури агента, але саме по собі не визначає внесок кожного її компонента.
10
14
Як працює принцип «код як модель»
Замість того щоб щоразу міркувати лише на основі поточного зображення, агент накопичує явні знання про гру й використовує їх для планування.
- Записує гіпотези. У текстовій книзі правил агент фіксує, що знає про об’єкти, дії та механіку гри. Те, що ще не з’ясовано, можна залишити відкритим питанням, а не записувати як факт.
1
7
- Перетворює правила на програму. На основі тексту агент створює виконуваний код — спрощену модель світу, яка передбачає, що станеться після певного ходу.
5
14
- Планує й виправляє помилки. Агент спостерігає за грою, переглядає свої висновки, змінює правила й код, а потім перевіряє оновлену модель. Якщо її прогноз не збігається з реальним результатом, це привід переглянути гіпотезу.
У прикладі з дослідження агент з’ясував, що коли персонаж наступає на платформу з бейджем, той повертається на 90 градусів за годинниковою стрілкою.5 Важлива тут не конкретна ігрова механіка, а сам підхід: висновок зберігається у формі, яку можна використати для подальшого планування.
Зміни до книги правил і коду також можна відстежувати: у повідомленні про систему зазначено, що Git допомагає переглядати історію та повертатися до попередніх версій, якщо нове редагування виявилося невдалим.14
Тож «самовдосконалення» Memento 3 — це вдосконалення зовнішніх записів і програм, а не повторне навчання самої мовної моделі.1
6
Що показав експеримент із Pong
Дослідники також описали окремий експеримент з Atari Pong. Після того як агент засвоїв стратегію керування, створений контролер виграв кожен із трьох тестових матчів з рахунком 21:0 — уже без нових викликів мовної моделі.1
Це демонстрація того, що засвоєні правила можна перетворити на самостійний виконуваний алгоритм. Водночас три матчі — обмежена перевірка, тож цей результат не свідчить сам по собі про надійну гру в будь-якому середовищі.
Що цей результат доводить — і чого ні
- Це не власна базова модель Huawei. Memento 3 працювала на Claude Opus 5; досягнення стосується системи агента, розробленої навколо цієї моделі.
9
13
- Результат стосується відкритого набору. Проходження всіх публічних ігор не підтверджує такої самої ефективності на прихованих завданнях.
27
- Менше ходів не означає автоматично менших витрат. Кількість дій у грі сама по собі нічого не доводить про використання токенів, швидкість роботи чи грошову вартість.
- Узагальнення на реальний світ залишається відкритим питанням. Результати підтримують перспективність явного моделювання правил і планування через код, але не доводять, що агент так само впорається з мінливими чи частково спостережуваними реальними ситуаціями.
Отже, сильна сторона Memento 3 — не в тому, що мовна модель раптом стала іншою, а в тому, що агент навчився зберігати й перевіряти знання про середовище у вигляді, придатному для симуляції та планування.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Memento 3 подолала всі 25 ігор ARC-AGI-3 завдяки власній «книзі правил»"?
За опублікованими результатами, Memento 3 пройшла всі 25 ігор і 183 рівні відкритого набору ARC AGI 3 за 7 518 дій — проти 17 135 дій у людей.
What are the key points to validate first?
За опублікованими результатами, Memento 3 пройшла всі 25 ігор і 183 рівні відкритого набору ARC AGI 3 за 7 518 дій — проти 17 135 дій у людей. Система працювала на Claude Opus 5 без оновлення ваг чи окремого донавчання для кожної гри.
What should I do next in practice?
Ключова ідея — «код як модель»: агент фіксує гіпотези про правила, перевіряє їх на практиці та використовує виконувану модель світу, щоб планувати наступні дії.[1][5][6]
Sources
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
aiweekly.coMemento 3 Posts 100.0 RHAE on ARC-AGI-3 With Frozen LLM Rulebook