AnswersPublished20 sources
Memento 3 menamatkan 183 tahap permainan AI tanpa melatih semula model bahasa
Memento 3 dilaporkan menyelesaikan semua 25 permainan dan 183 tahap awam ARC AGI 3 dengan 7,518 tindakan, berbanding 17,135 tindakan bagi manusia. Ejen ini mengekalkan model bahasa asasnya tanpa perubahan berat atau latihan khusus untuk permainan; sebaliknya, ia mengemas kini buku peraturan dan simulator kod luaran.
Diterbitkan olehImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Memento 3 dilaporkan menyelesaikan semua 25 permainan dan 183 tahap awam ARC AGI 3 dengan 7,518 tindakan, berbanding 17,135 tindakan bagi manusia.
- Ejen ini mengekalkan model bahasa asasnya tanpa perubahan berat atau latihan khusus untuk permainan; sebaliknya, ia mengemas kini buku peraturan dan simulator kod luaran.
- Pencapaian itu menunjukkan potensi perancangan menggunakan model dunia yang boleh disemak semula, tetapi belum membuktikan prestasi setara pada permainan tersembunyi atau kos keseluruhan yang lebih rendah.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Bukan dengan melatih semula model bahasa
ARC-AGI-3 ialah penanda aras interaktif yang menguji keupayaan ejen memahami permainan baharu. Permainan dalam penanda aras ini tidak menerangkan peraturan, matlamat atau tindakan yang tersedia, jadi ejen perlu mempelajarinya melalui pemerhatian dan percubaan.
Memento 3, hasil kerjasama Huawei Noah’s Ark Lab, University College London dan pihak lain, dilaporkan berjaya menyelesaikan kesemua 25 permainan dan 183 tahap dalam set awam itu. Ia menggunakan 7,518 tindakan, berbanding 17,135 tindakan bagi manusia—kira-kira 44% daripada jumlah tindakan manusia, atau 56% lebih sedikit. Sistem ini memperoleh skor maksimum 100 bagi RHAE, ukuran kecekapan tindakan relatif kepada manusia.8
27
Peningkatan itu bukan hasil mengubah pemberat model bahasa. Memento 3 menggunakan Claude Opus 5 tanpa mengemas kini pemberat model atau membuat pelarasan khusus untuk setiap permainan.10
13
14 Sebagai perbandingan, laporan menyatakan Claude Opus 5 mendapat kira-kira 40.7 RHAE dalam rangka ujian rasmi ARC Prize.
10
14
Buku peraturan yang diterjemahkan menjadi kod
Pendekatan Memento 3 dipanggil “Code as Model” atau “kod sebagai model”. Ejen ini membina dua perkara sambil meneroka permainan:
- Buku peraturan: Dokumen Markdown yang mencatat pemahamannya tentang objek, kesan tindakan dan cara permainan berfungsi. Perkara yang belum diketahui boleh dibiarkan sebagai andaian terbuka, bukan dianggap sudah pasti.
1
7
- Model dunia boleh laksana: Kod Python yang mewakili pemahaman ejen itu dalam bentuk simulator ringkas. Simulator ini membantu ejen meramalkan apa yang mungkin berlaku dan merancang tindakan.
5
14
Prosesnya berulang: ejen memerhati permainan, menilai ramalannya, menyemak peraturan, menjana semula kod dan mengesahkan perubahan itu.1
5 Jika tindakan menghasilkan keputusan yang berbeza daripada ramalan, kesilapan tersebut boleh digunakan untuk memperbaik buku peraturan dan simulator.
Contohnya, satu penerangan tentang kaedah ini menyebut ejen mempelajari bahawa memijak pad akan memutarkan lencana yang dibawanya 90 darjah mengikut arah jam.5 Perbezaan pentingnya: “penambahbaikan kendiri” di sini bermaksud menyemak pengetahuan dan program luaran, sementara model bahasa kekal beku—bukan melatih semula model asas secara berulang.
1
6
Laporan turut menyatakan Git digunakan untuk merekod perubahan pada buku peraturan dan kod. Jika suntingan baharu didapati salah, ejen boleh menyemak sejarah dan kembali kepada versi terdahulu.14
Ujian tambahan dan perkara yang masih belum pasti
Dalam ujian Pong, petikan kajian melaporkan bahawa pengawal berasaskan maklum balas yang dipelajari memenangi setiap satu daripada tiga permainan yang dinilai dengan keputusan 21–0. Selepas strategi itu dipelajari, permainan tersebut boleh dijalankan tanpa panggilan lanjut kepada model bahasa.1 Ini menunjukkan program yang telah dibina boleh bertindak secara kendiri dalam ujian berkenaan, tetapi bukan bukti bahawa kaedah itu sudah terbukti untuk semua permainan atau persekitaran.
Terdapat juga dakwaan tentang manfaat beberapa komponen, termasuk penggunaan dua model dunia atau pengurangan tindakan dalam ujian ablation. Namun, bahan sumber yang tersedia tidak mencukupi untuk mengesahkan angka terperinci itu secara bebas. Walaupun angka tersebut tepat, ujian pada satu atau beberapa permainan sahaja belum cukup untuk menentukan sumbangan setiap komponen merentas keseluruhan penanda aras.
Apa yang boleh dan tidak boleh disimpulkan
Keputusan yang dilaporkan melibatkan set permainan awam ARC-AGI-3. Ia tidak membuktikan bahawa Memento 3 akan mencapai prestasi sama pada permainan penilaian tersembunyi.7
27 Selain itu, jumlah tindakan yang lebih rendah tidak semestinya bermaksud penggunaan token, masa pemprosesan atau kos wang juga lebih rendah.
Memento 3 menggunakan Claude Opus 5, bukannya model asas yang dibangunkan oleh Huawei.9
13 Maka, pencapaian ini lebih tepat dilihat sebagai demonstrasi seni bina ejen—yang menyimpan peraturan secara eksplisit dan menggunakan kod untuk merancang—di atas model bahasa sedia ada. Sama ada pendekatan ini akan berfungsi dengan baik dalam persekitaran dunia sebenar yang bising, maklumatnya tidak lengkap atau peraturannya berubah masih belum dibuktikan oleh hasil yang tersedia.
1
7
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Memento 3 menamatkan 183 tahap permainan AI tanpa melatih semula model bahasa"?
Memento 3 dilaporkan menyelesaikan semua 25 permainan dan 183 tahap awam ARC AGI 3 dengan 7,518 tindakan, berbanding 17,135 tindakan bagi manusia.
What are the key points to validate first?
Memento 3 dilaporkan menyelesaikan semua 25 permainan dan 183 tahap awam ARC AGI 3 dengan 7,518 tindakan, berbanding 17,135 tindakan bagi manusia. Ejen ini mengekalkan model bahasa asasnya tanpa perubahan berat atau latihan khusus untuk permainan; sebaliknya, ia mengemas kini buku peraturan dan simulator kod luaran.
What should I do next in practice?
Pencapaian itu menunjukkan potensi perancangan menggunakan model dunia yang boleh disemak semula, tetapi belum membuktikan prestasi setara pada permainan tersembunyi atau kos keseluruhan yang lebih rendah.
Sources
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model
aiweekly.coMemento 3 Posts 100.0 RHAE on ARC-AGI-3 With Frozen LLM Rulebook
qbitai.com华为AI靠RSI通关25款游戏！操作次数比人类少56%