RéponsesPublié19 sources
Memento 3 a fini les 25 jeux publics d’ARC-AGI-3 : voici comment
Memento 3 a terminé les 25 jeux et 183 niveaux de la partie publique d’ARC AGI 3 en 7 518 actions, contre 17 135 pour les humains, selon les résultats rapportés.[8][27] Son modèle de langage reste figé : l’agent améliore plutôt un livre de règles externe et un simulateur exécutable qu’il utilise pour planifier.[1][5...
Publié parImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Memento 3 a terminé les 25 jeux et 183 niveaux de la partie publique d’ARC AGI 3 en 7 518 actions, contre 17 135 pour les humains, selon les résultats rapportés.[8][27]
- Son modèle de langage reste figé : l’agent améliore plutôt un livre de règles externe et un simulateur exécutable qu’il utilise pour planifier.[1][5][6]
- Le résultat ne prouve pas que la méthode fonctionne aussi bien sur des jeux cachés ou dans des situations réelles plus complexes.[7][27]
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Memento 3 n’a pas progressé en réentraînant son modèle de langage. Le système a plutôt consigné ce qu’il apprenait dans un livre de règles, traduit ces hypothèses en code exécutable, puis utilisé ce simulateur pour préparer ses actions.1
5
6
Selon les résultats rapportés, l’agent a terminé les 25 jeux et les 183 niveaux de la partie publique du benchmark ARC-AGI-3 en 7 518 actions. Les joueurs humains en ont utilisé 17 135 pour le même ensemble. Memento 3 a ainsi réalisé environ 56 % d’actions en moins et obtenu un score RHAE de 100.8
27 ARC-AGI-3 est un benchmark interactif où les agents doivent se débrouiller dans des jeux en pixels dont les règles et les objectifs ne leur sont pas simplement expliqués à l’avance.
7
Un modèle figé, mais une mémoire qui évolue
Le système s’appuie sur Claude Opus 5, sans mise à jour des poids du modèle ni ajustement spécifique à chaque jeu.10
13
14 Dans le cadre officiel du benchmark, Claude Opus 5 seul aurait obtenu environ 40,7 points RHAE, selon les résultats rapportés.
10
14
RHAE signifie « Relative Human Action Efficiency », ou efficacité relative en nombre d’actions par rapport aux humains. Le score de 100 correspond au résultat maximal rapporté pour Memento 3.10
13
Cette distinction est importante : ici, l’« amélioration » ne signifie pas que le modèle de langage se réentraîne lui-même. L’agent révise plutôt les connaissances et les programmes qu’il conserve à l’extérieur du modèle, tandis que celui-ci reste figé.1
6
« Le code comme modèle » : apprendre, simuler, corriger
La méthode, appelée « Code as Model » (« le code comme modèle »), repose sur deux éléments complémentaires :
- Un livre de règles, rédigé en Markdown, qui consigne les hypothèses de l’agent sur les objets, les actions et le fonctionnement du jeu. Les éléments encore inconnus peuvent rester explicitement incertains.
1
7
- Un modèle du monde exécutable, écrit en Python, qui transforme ces hypothèses en une simulation simplifiée. L’agent s’en sert pour prévoir les conséquences possibles de ses actions et planifier.
5
14
Le cycle consiste à observer le jeu, réfléchir aux résultats, modifier les règles, actualiser le code, puis vérifier les prédictions.1
5 Par exemple, un cas décrit dans les sources montre l’agent découvrant qu’un badge porté par le personnage tourne de 90 degrés dans le sens horaire lorsqu’il passe sur une case donnée.
5
Les versions successives du livre de règles et du code sont aussi conservées avec Git, ce qui permet de consulter les modifications et de revenir à une version antérieure si une correction s’avère mauvaise.14
Ce que les résultats permettent — et ne permettent pas — de conclure
Le chiffre de 7 518 actions constitue un résultat notable sur les jeux publics évalués. Il ne suffit toutefois pas à démontrer que Memento 3 réussirait aussi bien sur les jeux cachés du benchmark.7
27 Et le nombre d’actions, à lui seul, ne renseigne pas sur le coût total en calcul, en temps ou en jetons de modèle.
Les éléments disponibles ne permettent pas non plus de confirmer de façon indépendante certains chiffres avancés pour des expériences d’ablation — qui visent à mesurer la contribution de composants particuliers — ni le réglage de raisonnement le plus élevé du modèle. Même s’ils étaient exacts, des résultats obtenus sur un petit nombre de jeux ne permettraient pas à eux seuls de généraliser à l’ensemble du benchmark.
Un essai séparé sur Pong
Les chercheurs ont également évalué un contrôleur appris sur Pong. D’après l’extrait de l’article, celui-ci a remporté chacun des trois épisodes évalués sur le score de 21 à 0, avec des départs différents et sans nouveaux appels au modèle de langage pendant ces parties.1
Ce test illustre une possibilité : une fois une stratégie traduite en programme, le contrôleur peut jouer sans solliciter le modèle à chaque étape. Il s’agit toutefois d’une expérience distincte des 25 jeux d’ARC-AGI-3, et non d’une preuve que la méthode est déjà robuste dans des environnements réels changeants ou partiellement observés.1
7
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Memento 3 a fini les 25 jeux publics d’ARC-AGI-3 : voici comment » ?
Memento 3 a terminé les 25 jeux et 183 niveaux de la partie publique d’ARC AGI 3 en 7 518 actions, contre 17 135 pour les humains, selon les résultats rapportés.[8][27]
Quels sont les points clés à valider en premier ?
Memento 3 a terminé les 25 jeux et 183 niveaux de la partie publique d’ARC AGI 3 en 7 518 actions, contre 17 135 pour les humains, selon les résultats rapportés.[8][27] Son modèle de langage reste figé : l’agent améliore plutôt un livre de règles externe et un simulateur exécutable qu’il utilise pour planifier.[1][5][6]
Que dois-je faire ensuite en pratique ?
Le résultat ne prouve pas que la méthode fonctionne aussi bien sur des jeux cachés ou dans des situations réelles plus complexes.[7][27]
Sources
ai-pulse-lab.comAI 自己给自己写规则书，然后照着升级 · AI Pulse 论文解读
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model