JawabanDipublikasikan18 sumber
EMem-Bench menguji apakah agen AI bisa mengingat dan memakai pengalaman sebelumnya
Tim OmniAI Universitas Zhejiang memperkenalkan EMem Bench, tolok ukur dengan 2.554 episode interaksi untuk menguji kemampuan agen AI berwujud mengingat dan memakai pengalaman. Empat jenis tugas menguji kemampuan mengingat pengamatan, mengikuti perubahan keadaan, menyimpan umpan balik interaksi, dan menerapkan pengal...
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Tim OmniAI Universitas Zhejiang memperkenalkan EMem Bench, tolok ukur dengan 2.554 episode interaksi untuk menguji kemampuan agen AI berwujud mengingat dan memakai pengalaman.
- Empat jenis tugas menguji kemampuan mengingat pengamatan, mengikuti perubahan keadaan, menyimpan umpan balik interaksi, dan menerapkan pengalaman pada tugas baru.[11][16]
- Dalam tinjauan manual terhadap 100 jejak kegagalan terpilih, empat kategori masalah memori mencakup 91% kasus.
- Dalam perbandingan dengan GPT 5.4 mini sebagai model dasar yang sama, EMem meningkatkan tingkat keberhasilan rata rata dari 35,3% menjadi 58,9%.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Zhejiang University’s OmniAI Group’s EmbodiedMemory-Bench (EMem-Bench), reported on October 18, 2026, when was its paper posted to a. Article summary: EmbodiedMemory-Bench (EMem-Bench) is Zhejiang University’s OmniAI Group’s benchmark for testing whether embodied agents can build and update memories from past interactions, then use those memories to complete later task. Topic tags: general, academic, general web, government, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
Agen AI berwujud—sistem yang menerima informasi dari lingkungan dan bertindak di dalamnya—perlu melakukan lebih dari sekadar memahami apa yang terlihat saat ini. Untuk menyelesaikan tugas berurutan, agen juga harus mengingat apa yang pernah diamati, memahami perubahan setelah bertindak, lalu menggunakan informasi itu pada langkah berikutnya.
Tim OmniAI Universitas Zhejiang mengembangkan EmbodiedMemory-Bench (EMem-Bench) untuk menguji kemampuan tersebut lewat tugas interaktif di lingkungan simulasi. Makalahnya dikirim ke arXiv pada 23 September 2026. Tim melaporkan bahwa tolok ukur ini mencakup 2.554 episode interaksi dalam empat kelompok tugas.1
17
Bagaimana EMem-Bench menguji memori?
Alih-alih hanya bertanya kepada model tentang kejadian di masa lalu, EMem-Bench memberikan riwayat interaksi multimodal yang disusun secara kronologis. Setelah itu, agen mendapat tugas lanjutan dan harus menggunakan pengalaman sebelumnya untuk bertindak di lingkungan.1
11
Empat kelompok tugasnya menguji apakah agen mampu:
- Mengingat pengamatan sebelumnya: mempertahankan detail visual, misalnya lokasi benda yang pernah terlihat.
- Mengikuti perubahan keadaan: memperbarui ingatan ketika posisi atau kondisi benda berubah, agar tidak bertindak berdasarkan informasi lama.
- Mengingat hasil interaksi: menyimpan informasi yang terungkap dari umpan balik tindakan, termasuk apakah suatu tindakan berhasil.
- Menerapkan pengalaman pada situasi baru: menggunakan pola, demonstrasi, atau koreksi yang dipelajari saat menghadapi benda atau adegan lain.
11
16
Dengan pendekatan ini, kemampuan mengingat dinilai dari tindakan berikutnya: apakah agen menggunakan informasi yang relevan dengan tepat, bukan sekadar dapat menceritakan kembali apa yang terjadi.1
Kesalahan memori yang ditemukan pada agen
Dalam pembahasan yang menyertai tolok ukur ini, tim menganalisis 100 jejak kegagalan Gemini-3-Flash dan Qwen3-VL-32B pada dua rangkaian tugas EmbodiedBench, yaitu EB-ALF dan EB-Hab. Mereka mengelompokkan masalah yang berkaitan dengan memori ke dalam empat kategori:
- Mengabaikan detail visual: 35%. Agen pernah melihat benda, tetapi tidak mengingat lokasinya dan kemudian mencarinya berulang kali.
- Tidak memperbarui keadaan lingkungan: 18%. Benda sudah dipindahkan atau diproses, tetapi agen masih bertindak berdasarkan keadaan sebelumnya.
- Tidak menyimpan umpan balik interaksi: 31%. Informasi baru muncul dari hasil tindakan, tetapi tidak digunakan sebagai ingatan untuk langkah berikutnya.
- Tidak menerapkan pengalaman: 7%. Agen sudah mendapat contoh atau koreksi, tetapi mengulangi kesalahan saat berhadapan dengan benda lain.
Keempat kategori tersebut mencakup 91% dari jejak kegagalan yang ditinjau. Angka itu menggambarkan sampel kegagalan terpilih, bukan tingkat kegagalan keseluruhan kedua model dan bukan hasil dari sampel acak.
Sistem EMem dan hasil pengujian
Tim juga memperkenalkan Embodied-Memorizer (EMem), sistem memori eksternal yang mengatur pengalaman menjadi memori adegan, spasial, dan peristiwa. Mereka turut melatih EMem-8B, model yang dirancang untuk mengelola dan menggunakan memori tersebut.1
6
15
Dalam perbandingan dengan GPT-5.4-mini sebagai model dasar yang sama, tingkat keberhasilan rata-rata tercatat sebesar 35,3% tanpa EMem dan 58,9% saat EMem digunakan—naik 23,6 poin persentase. Dalam perbandingan yang sama, TeleMem mencapai 37,8%.6
Hasil ini menunjukkan kinerja pada tolok ukur dan pengaturan pengujian tertentu. Angka tersebut tidak serta-merta berarti EMem akan memberikan peningkatan yang sama pada semua model atau tugas di luar pengujian itu.
Perhatian terhadap tolok ukur baru
Pada 18 Oktober 2026, media berbahasa Mandarin memberitakan EMem-Bench. Laporan tersebut menyebut bahwa sekitar tiga minggu setelah dirilis, jumlah unduhannya di Hugging Face mendekati 30.000.6
13 Angka itu adalah jumlah yang dilaporkan pada saat itu, bukan total unduhan terkini yang telah diverifikasi.
Simulasi belum membuktikan kinerja robot nyata
EMem-Bench mengevaluasi memori melalui interaksi dan tindakan di lingkungan simulasi.1
4 Hasilnya dapat menunjukkan kemampuan sistem dalam tugas-tugas yang diuji, tetapi belum cukup untuk memastikan robot fisik akan sama andalnya saat menghadapi gangguan sensor atau kesalahan eksekusi. Untuk menjawab pertanyaan itu, diperlukan pengujian langsung pada robot nyata.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "EMem-Bench menguji apakah agen AI bisa mengingat dan memakai pengalaman sebelumnya"?
Tim OmniAI Universitas Zhejiang memperkenalkan EMem Bench, tolok ukur dengan 2.554 episode interaksi untuk menguji kemampuan agen AI berwujud mengingat dan memakai pengalaman.
Apa poin penting yang harus divalidasi terlebih dahulu?
Tim OmniAI Universitas Zhejiang memperkenalkan EMem Bench, tolok ukur dengan 2.554 episode interaksi untuk menguji kemampuan agen AI berwujud mengingat dan memakai pengalaman. Empat jenis tugas menguji kemampuan mengingat pengamatan, mengikuti perubahan keadaan, menyimpan umpan balik interaksi, dan menerapkan pengalaman pada tugas baru.[11][16]
Apa yang harus saya lakukan selanjutnya dalam latihan?
Dalam tinjauan manual terhadap 100 jejak kegagalan terpilih, empat kategori masalah memori mencakup 91% kasus.
Sumber
arxiv.orgBenchmarking Embodied Memory for Long-Horizon ...
163.com具身智能体长程记忆：看见不等于记住，浙大提出具身记忆基准