ОтветыОпубликовано20 источники
Как Memento 3 прошла 25 игр ARC-AGI-3, не меняя языковую модель
Memento 3 прошла все 25 игр и 183 уровня публичного набора ARC AGI 3 за 7 518 действий; людям на тех же заданиях понадобилось 17 135. Модель Claude Opus 5 не дообучали и не меняли её веса: агент улучшал внешнюю память и код, описывающий правила игры.
ОпубликовалИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Memento 3 прошла все 25 игр и 183 уровня публичного набора ARC AGI 3 за 7 518 действий; людям на тех же заданиях понадобилось 17 135.
- Модель Claude Opus 5 не дообучали и не меняли её веса: агент улучшал внешнюю память и код, описывающий правила игры.
- Система записывала гипотезы в текстовый справочник, превращала их в программный симулятор и сверяла его предсказания с игрой.
- Результат относится к публичному набору и сам по себе не доказывает такую же эффективность на скрытых заданиях или в реальном мире.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Memento 3 добилась результата не за счёт изменения самой языковой модели, а благодаря внешней памяти и планированию. Агент записывал, проверял и уточнял правила незнакомых игр, превращал их в исполняемую программу, а затем использовал её, чтобы заранее оценивать возможные действия.1
5
6
Результат на ARC-AGI-3
Команда Huawei Noah’s Ark Lab, Университетского колледжа Лондона (UCL) и партнёров сообщила, что Memento 3 прошла все 25 игр и 183 уровня публичного набора ARC-AGI-3. На это ушло 7 518 действий против 17 135 у людей — около 44% от человеческого числа, или примерно на 56% меньше. Система получила максимальные 100 баллов по RHAE — показателю относительной эффективности действий по сравнению с людьми.8
27
В основе системы лежит Claude Opus 5. Его веса не обновляли и не дообучали отдельно на конкретных играх. В стандартном тестовом контуре ARC Prize для самой модели приводится результат около 40,7 RHAE.10
13
14
«Код как модель»: как устроен подход
ARC-AGI-3 — интерактивный игровой тест: агенту нужно разобраться в незнакомых правилах и целях, наблюдая за тем, что происходит после его действий.7 Memento 3 ведёт такую игру не только «в голове» языковой модели, но и с помощью двух внешних инструментов:
- Книга правил. В документе Markdown агент фиксирует, что ему известно об объектах, действиях и механике игры. Непроверенные предположения можно оставить открытыми, а не записывать как установленный факт.
1
7
- Исполняемая модель мира. Книга правил переводится в код на Python — упрощённый симулятор, который прогнозирует, к чему приведёт тот или иной ход. С его помощью агент планирует действия.
5
14
Затем следует цикл: наблюдение за игрой, анализ расхождений, исправление правил, обновление кода и проверка.1
5 Например, в одном из описанных случаев агент выяснил, что при наступании на площадку переносимый значок поворачивается на 90 градусов по часовой стрелке.
5
Изменения в правилах и коде сохраняются в Git. Это позволяет просматривать историю правок и возвращаться к прежней версии, если новая гипотеза оказалась ошибочной.14
Важно, что здесь «самоулучшение» означает доработку внешних знаний и программ, а не повторное обучение языковой модели: её веса остаются замороженными.1
6
Что показал эксперимент с Pong
Авторы также проверили подход на Pong. Согласно описанию исследования, обученный контроллер выиграл три проверенных эпизода со счётом 21:0; после обучения он играл без новых обращений к языковой модели.1 Это показывает, что найденные правила можно воплотить в отдельной программе, но само по себе не доказывает универсальность метода за пределами этих проверок.
Что этот результат не доказывает
Рекорд относится к публичному набору игр ARC-AGI-3. Он не устанавливает, как система справится со скрытыми заданиями или с меняющейся и неполной информацией в реальной среде.7
27 Кроме того, меньшее число игровых действий не означает автоматически меньших затрат на вычисления, времени или денег.
Итоговый результат стоит воспринимать как демонстрацию архитектуры вокруг Claude Opus 5: Memento 3 накапливала явные знания о правилах игры и использовала программный симулятор для планирования. Он не показывает, что основой системы была языковая модель разработки Huawei, и не позволяет отделить вклад каждого компонента в итоговый счёт.9
13
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Как Memento 3 прошла 25 игр ARC-AGI-3, не меняя языковую модель»?
Memento 3 прошла все 25 игр и 183 уровня публичного набора ARC AGI 3 за 7 518 действий; людям на тех же заданиях понадобилось 17 135.
Какие ключевые моменты необходимо проверить в первую очередь?
Memento 3 прошла все 25 игр и 183 уровня публичного набора ARC AGI 3 за 7 518 действий; людям на тех же заданиях понадобилось 17 135. Модель Claude Opus 5 не дообучали и не меняли её веса: агент улучшал внешнюю память и код, описывающий правила игры.
Что мне делать дальше на практике?
Система записывала гипотезы в текстовый справочник, превращала их в программный симулятор и сверяла его предсказания с игрой.
Источники
ai-pulse-lab.comAI 自己给自己写规则书，然后照着升级 · AI Pulse 论文解读
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model