JawabanDipublikasikan17 sumber
EchoPolicy-0 raih posisi pertama di MolmoSpaces, MagicBrain catat 94,4% pada tugas Pick
MagicLab melaporkan EchoPolicy 0 menempati posisi pertama di papan Combined MolmoSpaces AI2 dengan skor rata rata 75,4% pada empat tugas. MagicBrain, sistem berparameter 3,4 miliar, berada di urutan keempat dengan rata rata 72,4% dan skor 94,4% pada tugas Pick.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- MagicLab melaporkan EchoPolicy 0 menempati posisi pertama di papan Combined MolmoSpaces AI2 dengan skor rata rata 75,4% pada empat tugas.
- MagicBrain, sistem berparameter 3,4 miliar, berada di urutan keempat dengan rata rata 72,4% dan skor 94,4% pada tugas Pick.
- MolmoSpaces adalah tolok ukur AI embodied zero shot; hasilnya mengukur kinerja pada tugas benchmark, bukan bukti langsung keandalan di lingkungan nyata.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: As reported on October 14, 2026, how did MagicLab’s EchoPolicy-0 and its in-house 3.4-billion-parameter MagicBrain perform on AI2’s MolmoSpa. Article summary: MagicLab reported EchoPolicy-0 first on AI2’s MolmoSpaces Combined leaderboard at a 75.4% equal-weighted success rate, while its 3.4-billion-parameter MagicBrain reportedly ranked fourth at 72.4%, including 94.4% on Pick. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
MagicLab melaporkan bahwa kerangka manipulasi robot EchoPolicy-0 menempati posisi pertama pada papan Combined MolmoSpaces milik AI2, dengan tingkat keberhasilan rata-rata 75,4% pada empat tugas. MagicBrain, sistem berparameter 3,4 miliar yang dikembangkan perusahaan, berada di posisi keempat dengan rata-rata 72,4%, termasuk skor 94,4% untuk tugas Pick. Hasil benchmark ini menunjukkan kinerja pada pengujian tersebut, tetapi tidak dengan sendirinya membuktikan performa dalam penerapan di dunia nyata.1
18
Perbandingan hasil kedua sistem
Skor rata-rata EchoPolicy-0 mencakup empat tugas manipulasi MolmoSpaces v1: Pick, Pick and Place, Open, dan Close. MagicLab menyebut sistemnya berada di posisi pertama pada papan Combined.1 Tinjauan Pandaily atas data papan peringkat yang dipublikasikan menghasilkan rata-rata hitung sekitar 75,5%, mendekati angka 75,4% yang dilaporkan perusahaan. Karena terdapat perbedaan kecil dalam pelaporan rata-rata, artikel ini menggunakan angka dari MagicLab.
41
MagicBrain dilaporkan berada di posisi keempat pada kelompok Combined yang sama, dengan rata-rata 72,4% dan skor 94,4% pada tugas Pick.18 Angka 94,4% merupakan hasil untuk satu tugas, bukan skor rata-rata keseluruhan sistem.
| Sistem | Hasil Combined yang dilaporkan | Catatan |
|---|---|---|
| EchoPolicy-0 | 75,4%, posisi pertama | Rata-rata berbobot setara dari Pick, Pick and Place, Open, dan Close |
| MagicBrain | 72,4%, posisi keempat | Skor 94,4% dilaporkan untuk tugas Pick |
Apa yang diukur MolmoSpaces?
MolmoSpaces adalah benchmark AI embodied zero-shot dari AI2. Tolok ukur ini dibangun dari lebih dari 230.000 lingkungan dalam ruangan dan sekitar 130.000 aset objek.1 Pengujiannya menilai apakah sistem robot dapat menjalankan tugas manipulasi berdasarkan instruksi dalam adegan yang ditentukan, alih-alih hanya mengandalkan satu demonstrasi atau skor untuk satu tugas.
Jumlah lingkungan dan aset tersebut menggambarkan cakupan ekosistem benchmark, bukan jumlah percobaan dalam hasil yang dilaporkan. Skor papan peringkat merangkum kinerja pada empat tugas manipulasi v1. Hasilnya membantu membandingkan sistem dalam pengujian bersama, tetapi belum menunjukkan seberapa andal robot akan bekerja di tempat kerja fisik atau kondisi penerapan lain.
EchoPolicy-0 menghubungkan pemahaman visual dan tindakan
MagicLab menggambarkan EchoPolicy-0 sebagai kerangka terpadu yang menggabungkan model bahasa-visual, perangkat manipulasi geometris, dan kebijakan tindakan umum. Alurnya menghubungkan pengamatan adegan dan pemahaman instruksi dengan pemilihan tindakan, pelaksanaan, lalu pemeriksaan hasil.18
Pendekatan yang dilaporkan juga menggunakan panduan visual untuk memilih di antara beberapa opsi tindakan. Model tindakan mengusulkan sejumlah pilihan, lalu sistem menggunakan pemahamannya tentang sasaran untuk menentukan pilihan yang sesuai. Dokumentasi evaluasi menjelaskan pemeriksaan visual yang dapat membantu menentukan apakah eksekusi dilanjutkan, dicoba kembali, atau dialihkan ke opsi lain.18
20 Dengan demikian, kerangka ini tidak hanya memberikan satu perintah gerak, tetapi juga menghubungkan persepsi dan tindakan melalui umpan balik.
MagicBrain berfokus pada pemilihan objek sasaran
MagicBrain menempuh pendekatan berbeda dengan menggunakan panduan visual dalam konteks untuk membantu mengidentifikasi objek yang dimaksud oleh instruksi. Identifikasi visual tersebut membantu mengarahkan gerakan model tindakan—memisahkan pertanyaan “objek mana yang harus ditangani?” dari “bagaimana robot harus bergerak?”.19
33
Dalam analisis yang dilaporkan, MagicLab menyebut salah memilih objek sasaran—bukan gerakan yang tidak stabil—sebagai sumber umum kegagalan mencengkeram pada kasus yang mereka kaji.30 Temuan itu menyoroti masalah dalam menghubungkan instruksi dengan objek: meski gerakan mencengkeram dilakukan dengan baik, tugas tetap gagal jika robot memilih objek yang keliru. Namun, pengamatan tersebut merujuk pada kasus yang diteliti, bukan gambaran universal tentang penyebab kegagalan robot mencengkeram.
Hasil benchmark bukan bukti kesiapan penerapan
Kedua sistem mencerminkan upaya menghubungkan pemahaman instruksi, pemilihan sasaran secara visual, dan tindakan fisik. MagicLab Studio menyebut arsitektur berlapis sebagai pendekatan yang disukai, serta mengikuti instruksi sebagai salah satu tantangan untuk tugas umum.33
Skor yang dilaporkan menunjukkan performa sistem pada tugas-tugas benchmark MolmoSpaces. Angka tersebut sebaiknya tidak dianggap sebagai bukti keandalan di dunia nyata atau kesiapan komersial: hasil benchmark saja belum memastikan bahwa kemampuan sistem akan bertahan pada kondisi fisik dan lingkungan penerapan yang berbeda.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "EchoPolicy-0 raih posisi pertama di MolmoSpaces, MagicBrain catat 94,4% pada tugas Pick"?
MagicLab melaporkan EchoPolicy 0 menempati posisi pertama di papan Combined MolmoSpaces AI2 dengan skor rata rata 75,4% pada empat tugas.
Apa poin penting yang harus divalidasi terlebih dahulu?
MagicLab melaporkan EchoPolicy 0 menempati posisi pertama di papan Combined MolmoSpaces AI2 dengan skor rata rata 75,4% pada empat tugas. MagicBrain, sistem berparameter 3,4 miliar, berada di urutan keempat dengan rata rata 72,4% dan skor 94,4% pada tugas Pick.
Apa yang harus saya lakukan selanjutnya dalam latihan?
MolmoSpaces adalah tolok ukur AI embodied zero shot; hasilnya mengukur kinerja pada tugas benchmark, bukan bukti langsung keandalan di lingkungan nyata.