답변게시됨1시간 전Last edited 1시간 전19 소스

모델은 그대로, 규칙과 코드는 계속 수정…Memento 3의 게임 공략법

Memento 3는 ARC AGI 3 공개 세트의 25개 게임, 183개 레벨을 7,518회 행동으로 통과했다고 보고됐다. 사람 기준 행동 수는 17,135회다.[8][27] 기반 모델은 Claude Opus 5다.

게시자GPT Image 2로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

Memento 3는 ARC AGI 3 공개 세트의 25개 게임, 183개 레벨을 7,518회 행동으로 통과했다고 보고됐다. 사람 기준 행동 수는 17,135회다.[8][27]
기반 모델은 Claude Opus 5다. 연구진은 모델 가중치를 업데이트하거나 게임별로 미세조정하지 않고 규칙서와 실행 가능한 시뮬레이터를 수정하는 방식을 택했다.[8][13][14]
에이전트는 게임 규칙에 대한 가설을 문서로 기록하고 이를 Python 코드로 구현한다. 예측과 실제 결과가 다르면 규칙과 코드를 고쳐 다시 계획한다.[1][5][6]
이번 성과는 공개 게임 세트에서 확인된 결과다. 비공개 평가나 현실 환경에서의 일반화, 각 구성 요소가 성능에 기여한 정도까지 입증한 것은 아니다.[7][27]

How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARCAI-generated editorial hero image for How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
openai.com

Memento 3가 ARC-AGI-3 공개 세트의 게임 25개와 183개 레벨을 모두 통과한 비결은 언어 모델 자체를 다시 학습시키는 데 있지 않다. 에이전트가 게임 규칙을 외부 문서에 기록하고, 그 내용을 실행 가능한 시뮬레이터로 만들어 시험한 뒤, 틀린 부분을 고쳐가며 행동을 계획했다는 점이 핵심이다.1 5 6

보고된 성과는 어느 정도일까

화웨이 노아의 방주 연구소와 런던대학교(UCL) 등 연구진이 개발한 Memento 3는 ARC-AGI-3 공개 세트에서 25개 게임, 183개 레벨을 모두 통과했다고 보고됐다. 사용한 행동은 총 7,518회로, 같은 콘텐츠를 완료한 사람의 17,135회와 비교하면 약 44% 수준이다. 상대 인간 행동 효율(RHAE) 점수는 만점인 100으로 제시됐다.8 27

이 시스템은 Claude Opus 5를 기반 모델로 사용한다. 보고에 따르면 게임별 미세조정이나 모델 가중치 업데이트 없이 작동한다. 같은 모델이 공식 ARC Prize 평가 틀에서 약 40.7 RHAE를 기록했다는 비교도 제시됐다.10 13 14 다만 이 수치만으로 각 설계 요소가 성능 향상에 얼마나 기여했는지, 또는 두 결과가 모든 조건에서 직접 비교 가능한지를 단정할 수는 없다.

규칙을 적고, 코드로 시험하고, 틀리면 고친다

Memento 3의 접근법은 ‘Code as Model’, 즉 코드를 모델로 활용하는 방식이다. 에이전트는 낯선 게임을 관찰하며 무엇이 어떤 결과를 일으키는지 규칙서에 기록한다. 규칙이 아직 불분명하면 확정된 사실처럼 다루지 않고 미정인 상태로 남길 수 있다.1 7

그다음 규칙서를 바탕으로 Python 코드를 작성해 게임 환경을 단순화한 실행 모델을 만든다. 에이전트는 그 모델 안에서 가능한 행동의 결과를 살펴보고 다음 수를 정한다. 실제 게임에서 관찰한 결과가 예측과 다르면 규칙서를 수정하고, 코드를 다시 만들고 확인하는 과정을 반복한다.1 5 6

예를 들어, 패드를 밟으면 들고 있는 배지가 시계 방향으로 90도 회전한다는 규칙을 학습하는 사례가 소개됐다.5 중요한 점은 ‘자기 개선’이 기반 언어 모델을 반복해서 재훈련한다는 뜻이 아니라는 것이다. 모델은 고정된 채, 외부에 저장된 지식과 프로그램을 고쳐 성능을 높이는 구조다.1 6

규칙서와 코드 변경을 Git으로 기록해, 잘못된 수정이 발견되면 이전 버전을 확인하거나 되돌릴 수 있다는 설명도 있다.14 다만 제공된 자료만으로는 수정 내용을 검증하는 세부 절차를 독립적으로 확인하기 어렵다.

공개 게임 통과가 보여주는 것, 아직 보여주지 않는 것

보고된 성과는 공개 게임 세트에서의 완주를 보여준다. 비공개 평가에서도 같은 성능을 낸다는 뜻은 아니며, 현실처럼 관측이 불완전하거나 환경이 계속 바뀌는 상황에서의 능력까지 입증한 것도 아니다.7 27

또한 행동 횟수가 줄었다고 해서 토큰 사용량이나 지연 시간, 비용까지 낮아졌다고 볼 수는 없다. 규칙서, 시뮬레이터, 계획 과정 가운데 어떤 요소가 얼마나 기여했는지에 대해서도 제공된 근거만으로는 넓은 범위의 결론을 내리기 어렵다.

논문 발췌 내용에는 학습한 피드백 제어기가 Pong의 평가된 세 에피소드에서 각각 21대 0으로 이겼고, 이후에는 추가 언어 모델 호출 없이 작동했다는 결과도 나온다.1 이는 실행 가능한 제어 프로그램이 학습된 뒤에는 매 순간 대형 언어 모델에 의존하지 않고 플레이할 수 있음을 보여주는 사례다. 다만 이를 곧바로 범용적인 현실 세계 능력으로 확대 해석해서는 안 된다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.