AnswersPublished18 sources
EMem-Bench перевіряє довготривалу пам’ять ШІ-агентів
EMem Bench від команди OmniAI з Zhejiang University містить 2 554 інтерактивні епізоди. Бенчмарк перевіряє чотири здібності: запам’ятовувати побачене, відстежувати зміни, зберігати результати взаємодій і переносити досвід на нові завдання.[11][16] У ручному аналізі 100 невдалих траєкторій чотири категорії проблем із...
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- EMem Bench від команди OmniAI з Zhejiang University містить 2 554 інтерактивні епізоди.
- Бенчмарк перевіряє чотири здібності: запам’ятовувати побачене, відстежувати зміни, зберігати результати взаємодій і переносити досвід на нові завдання.[11][16]
- У ручному аналізі 100 невдалих траєкторій чотири категорії проблем із пам’яттю становили 91% випадків.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Zhejiang University’s OmniAI Group’s EmbodiedMemory-Bench (EMem-Bench), reported on October 18, 2026, when was its paper posted to a. Article summary: EmbodiedMemory-Bench (EMem-Bench) is Zhejiang University’s OmniAI Group’s benchmark for testing whether embodied agents can build and update memories from past interactions, then use those memories to complete later task. Topic tags: general, academic, general web, government, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
Агент зі здатністю діяти в середовищі має не лише розпізнавати те, що бачить зараз. Йому потрібно пам’ятати попередні спостереження й наслідки власних дій, а потім використовувати цей досвід у новому завданні. Саме таку довготривалу пам’ять оцінює EmbodiedMemory-Bench (EMem-Bench), розроблений командою OmniAI із Zhejiang University. У бенчмарку — 2 554 інтерактивні епізоди, розподілені між чотирма типами завдань. Статтю подали на arXiv 23 вересня 2026 року.1
17
Що перевіряє EMem-Bench
На відміну від тестів, де модель лише відповідає на запитання про минуле, EMem-Bench перевіряє, чи допомагає досвід діяти далі. Спершу агент отримує послідовну в часі мультимодальну історію взаємодій, а потім — нове завдання. Йому потрібно сформувати або оновити пам’ять і виконати завдання в середовищі.1
11
Бенчмарк охоплює чотири здібності:
- Пам’ятати попередні спостереження: наприклад, пригадати, де раніше бачили певний предмет.
- Відстежувати зміни: оновлювати дані про місце чи стан предмета, а не діяти на основі застарілої інформації.
- Запам’ятовувати результати взаємодій: зберігати те, що стало зрозумілим після дії, зокрема чи завершилася вона успішно.
- Переносити досвід: застосовувати засвоєне правило або виправлення в новій ситуації чи з іншим предметом.
11
16
Отже, важливо не просто зберегти інформацію, а й доречно використати її під час наступної взаємодії.1
Які помилки виявили в симуляції дому
Пояснюючи, навіщо потрібен такий тест, дослідники вручну проаналізували 100 невдалих траєкторій Gemini-3-Flash і Qwen3-VL-32B у наборах EB-ALF та EB-Hab бенчмарку EmbodiedBench. Проблеми, пов’язані з пам’яттю, розподілили на чотири категорії:
- Ігнорування візуальних деталей — 35%. Предмет з’являвся на екрані, але агент не запам’ятовував його місце й згодом шукав знову.
- Пропущені зміни в середовищі — 18%. Предмет перемістили або обробили, а агент продовжував діяти так, наче його стан не змінився.
- Незапам’ятовані результати взаємодії — 31%. Агент не зберігав інформацію, яку виявила його дія: наприклад, чи вдалося щось схопити або який стан середовища відкрився.
- Нездатність перенести досвід — 7%. Отримавши раніше демонстрацію чи виправлення, агент повторював ту саму помилку з іншим предметом.
Разом ці категорії становили 91% проаналізованих невдач. Це опис саме відібраних невдалих траєкторій, а не загальний рівень помилок будь-якої з моделей чи результат випадкової вибірки.
Як EMem працює з пам’яттю
Команда також представила зовнішню систему пам’яті Embodied-Memorizer (EMem). Вона організовує досвід у три типи пам’яті: про сцени, просторові дані та події. Крім того, дослідники навчили модель EMem-8B керувати цими спогадами й використовувати їх.1
6
15 Ідея полягає не лише в тому, щоб зберегти минулу інформацію, а й у тому, щоб знаходити потрібні для поточного завдання відомості та перетворювати їх на дію.
6
У порівнянні з GPT-5.4-mini як спільною базовою моделлю середня частка успішно виконаних завдань зросла з 35,3% без EMem до 58,9% із системою. Це приріст на 23,6 відсоткового пункту. У тому самому порівнянні TeleMem показала 37,8%.6 Йдеться про результати в конкретному бенчмарку та заданих умовах, а не гарантію аналогічного ефекту в усіх завданнях або з усіма моделями.
Публікація й увага до бенчмарку
Запис на arXiv свідчить, що статтю подали 23 вересня 2026 року.17 18 жовтня китайські медіа опублікували матеріали про роботу; відповідні публікації згадує і сторінка команди.
6
13 За повідомленням того часу, приблизно за три тижні після виходу бенчмарк завантажили з Hugging Face майже 30 000 разів. Це число з медіапублікації, а не перевірений актуальний лічильник завантажень.
6
Симуляційний результат — ще не перевірка робота в реальному світі
EMem-Bench оцінює пам’ять і її користь для подальших дій в інтерактивних симуляціях.1
4 Результати показують, як система справляється з цими тестовими завданнями, але самі по собі не доводять, що вона буде так само надійною на фізичному роботі — наприклад, за шуму сенсорів чи помилок виконання команд. Для цього потрібні окремі випробування на реальних роботах.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "EMem-Bench перевіряє довготривалу пам’ять ШІ-агентів"?
EMem Bench від команди OmniAI з Zhejiang University містить 2 554 інтерактивні епізоди.
What are the key points to validate first?
EMem Bench від команди OmniAI з Zhejiang University містить 2 554 інтерактивні епізоди. Бенчмарк перевіряє чотири здібності: запам’ятовувати побачене, відстежувати зміни, зберігати результати взаємодій і переносити досвід на нові завдання.[11][16]
What should I do next in practice?
У ручному аналізі 100 невдалих траєкторій чотири категорії проблем із пам’яттю становили 91% випадків.
Sources
arxiv.orgBenchmarking Embodied Memory for Long-Horizon ...
163.com具身智能体长程记忆：看见不等于记住，浙大提出具身记忆基准