AnswersPublished19 sources
Memento 3, 25 oyunu modelini yeniden eğitmeden nasıl tamamladı?
Memento 3’ün bildirilmiş sonucu: ARC AGI 3’ün herkese açık 25 oyunundaki 183 seviyeyi 7.518 hamlede tamamlamak; insan oyuncuların toplamı 17.135 hamleydi. Sistem, temel dil modelinin ağırlıklarını güncellemek yerine oyun kurallarını bir kural defterine yazıp bunları çalıştırılabilir bir simülasyona dönüştürüyor.
YayımlayanGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- Memento 3’ün bildirilmiş sonucu: ARC AGI 3’ün herkese açık 25 oyunundaki 183 seviyeyi 7.518 hamlede tamamlamak; insan oyuncuların toplamı 17.135 hamleydi.
- Sistem, temel dil modelinin ağırlıklarını güncellemek yerine oyun kurallarını bir kural defterine yazıp bunları çalıştırılabilir bir simülasyona dönüştürüyor.
- Sonuç, halka açık oyun setindeki başarıyı gösteriyor; tek başına gizli değerlendirmelerde veya gerçek dünyada aynı performansın elde edileceğini kanıtlamıyor.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Huawei Noah’s Ark Lab, University College London ve ortaklarının geliştirdiği Memento 3, ARC-AGI-3’ün herkese açık setindeki 25 oyunun 183 seviyesini tamamladığını bildirdi. Sistem bunu 7.518 hamlede yaptı; aynı oyunlar için insan oyuncuların toplamı 17.135 hamle olarak veriliyor. Bu, insan toplamının yaklaşık yüzde 44’ü, başka bir deyişle yaklaşık yüzde 56 daha az hamle demek. Memento 3, RHAE adı verilen göreli insan hamle verimliliği ölçütünde 100 puan aldı.8
27
Buradaki asıl fark, dil modelini yeniden eğitmek değil. Memento 3, karşılaştığı oyunların kurallarını dış belleğinde kaydedip bunları çalıştırılabilir bir modele dönüştürüyor; ardından bu modelle olası hamleleri planlıyor.1
5
6
Kuralları açıklanmayan oyunlarda nasıl ilerliyor?
ARC-AGI-3, oyuncuya alışılmadık piksel oyunları sunan etkileşimli bir kıyaslama. Oyunun kuralları, hedefi ve hangi hamlelerin işe yaradığı baştan açıklanmıyor; ajan bunları deneyerek anlamak zorunda.7
Memento 3’ün yaklaşımı “Code as Model” (model olarak kod) diye adlandırılıyor. Sistem iki şeyi birlikte geliştiriyor:
- Kural defteri: Markdown biçimindeki bu notlarda nesneler, hamlelerin etkileri ve oyun dinamikleri hakkındaki mevcut varsayımlar tutuluyor. Henüz bilinmeyen kurallar kesinleşmiş gibi yazılmak yerine açık bırakılabiliyor.
1
7
- Çalıştırılabilir dünya modeli: Kural defterindeki bilgiler Python koduna çevriliyor. Böylece ajan, oyunda hamle yapmadan önce kendi modeli içinde sonuçları öngörüp plan kurabiliyor.
5
14
Döngü, gözlemle başlayıp yansıtma, kuralları düzeltme, kodu derleme ve doğrulamayla sürüyor. Modelin tahmini gerçek oyundaki sonuçla uyuşmazsa ajan hem kural defterini hem de kodunu gözden geçirebiliyor.1
5 Örneğin, bir yüzeye basınca taşınan bir simgenin saat yönünde 90 derece döndüğünü öğrenmeye ilişkin bir örnek aktarılıyor.
5
Araştırmanın önemli iddiası, “kendini geliştirme”nin burada temel dil modelinin ağırlıklarını yeniden eğitmek anlamına gelmemesi. Memento 3, değişmeyen bir dil modelinin çevresinde, dış belleğini ve programlarını güncelleyerek daha isabetli bir oyun modeli kuruyor.1
6 Sistem için Claude Opus 5 kullanıldığı ve oyunlara özel ince ayar yapılmadığı da aktarılıyor.
10
13
14
Başarı neyi gösteriyor, neyi göstermiyor?
Aktarılan karşılaştırmalarda Claude Opus 5’in ARC Prize’ın test düzeneğindeki puanı yaklaşık 40,7 RHAE olarak veriliyor; Memento 3 ise bu modeli ağırlıklarını değiştirmeden kullandığını bildiriyor.10
14 Bu fark, açık kurallı bir oyunda yalnızca anlık dil modeli akıl yürütmesine dayanmak yerine, dışarıda tutulan kuralları ve simülasyonu kullanmanın potansiyelini gösteriyor. Ancak hangi bileşenin sonuca ne ölçüde katkı yaptığını veya karşılaştırmaların hesaplama kaynakları bakımından eşit olup olmadığını tek başına ortaya koymuyor.
Bildirilen sonuçlar halka açık oyun setine ait. Bu başarı, gizli değerlendirme oyunlarında ya da kuralları ve koşulları farklı gerçek dünya ortamlarında aynı performansın gösterildiğini kanıtlamıyor.7
27 Ayrıca hamle sayısının düşük olması, tek başına daha az çalışma süresi, gecikme veya parasal maliyet anlamına gelmiyor.
Bazı ek iddialar için de temkinli olmak gerekiyor: Bu metinde aktarılan kaynak kesitleri, Sergey Rodionov’un baseline1 için verdiği 99 RHAE ve 8.347 hamle sayılarını veya en yüksek akıl yürütme ayarına ilişkin iddiayı bağımsız biçimde doğrulamaya yetmiyor. Benzer şekilde, bileşenlerin etkisini ölçtüğü söylenen ablation sonuçları hakkındaki ayrıntılar da mevcut kesitlerden teyit edilemiyor.
Pong deneyi: kural öğrenmekten kontrol stratejisine
Çalışmanın aktarılan Pong deneyi, öğrenilmiş bir geri bildirim denetleyicisinin değerlendirilen üç oyunun her birini 21-0 kazandığını ve bunu yaparken yeni dil modeli çağrılarına ihtiyaç duymadığını bildiriyor.1 Bu, önce keşif yapıp sonra öğrenilmiş kodla oynama fikrine örnek sunuyor. Ancak mevcut kaynak kesitleri, denetleyicinin öğrenme sürecindeki kare sayısı veya topun çarpışma fiziğini tam olarak nasıl çıkardığı gibi ayrıntıları doğrulamıyor.
Özetle Memento 3’ün öne çıkan yanı, yalnızca daha iyi hamle tahmin etmek değil: Bilmediği bir ortam için kurallarını açıkça kaydetmek, bu kuralları çalıştırılabilir bir modele dönüştürmek ve tahminleriyle gözlemleri arasındaki farkı kullanarak modelini düzeltmek. ARC-AGI-3’teki sonuçlar bu yaklaşımın herkese açık oyun setinde işe yaradığını bildiriyor; daha geniş genellenebilirliği ise açık bir araştırma sorusu olarak kalıyor.1
7
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Memento 3, 25 oyunu modelini yeniden eğitmeden nasıl tamamladı?"?
Memento 3’ün bildirilmiş sonucu: ARC AGI 3’ün herkese açık 25 oyunundaki 183 seviyeyi 7.518 hamlede tamamlamak; insan oyuncuların toplamı 17.135 hamleydi.
What are the key points to validate first?
Memento 3’ün bildirilmiş sonucu: ARC AGI 3’ün herkese açık 25 oyunundaki 183 seviyeyi 7.518 hamlede tamamlamak; insan oyuncuların toplamı 17.135 hamleydi. Sistem, temel dil modelinin ağırlıklarını güncellemek yerine oyun kurallarını bir kural defterine yazıp bunları çalıştırılabilir bir simülasyona dönüştürüyor.
What should I do next in practice?
Sonuç, halka açık oyun setindeki başarıyı gösteriyor; tek başına gizli değerlendirmelerde veya gerçek dünyada aynı performansın elde edileceğini kanıtlamıyor.
Sources
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model
ai-pulse-lab.comAI 自己给自己写规则书，然后照着升级 · AI Pulse 论文解读