ОтветыОпубликовано18 источники
Что запоминает робот: тест Zhejiang University для ИИ-агентов
EMem Bench включает 2 554 интерактивных эпизода и проверяет, умеет ли агент запоминать прошлый опыт и применять его позже. Бенчмарк охватывает четыре навыка: помнить увиденное, отслеживать изменения, учитывать обратную связь от действий и переносить опыт на новые задачи.
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- EMem Bench включает 2 554 интерактивных эпизода и проверяет, умеет ли агент запоминать прошлый опыт и применять его позже.
- Бенчмарк охватывает четыре навыка: помнить увиденное, отслеживать изменения, учитывать обратную связь от действий и переносить опыт на новые задачи.
- В сравнении на GPT 5.4 mini система памяти EMem повысила среднюю успешность с 35,3% до 58,9%.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Zhejiang University’s OmniAI Group’s EmbodiedMemory-Bench (EMem-Bench), reported on October 18, 2026, when was its paper posted to a. Article summary: EmbodiedMemory-Bench (EMem-Bench) is Zhejiang University’s OmniAI Group’s benchmark for testing whether embodied agents can build and update memories from past interactions, then use those memories to complete later task. Topic tags: general, academic, general web, government, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
Воплощённый ИИ-агент должен не только распознавать предметы перед собой, но и помнить, где видел их раньше, что изменилось после его действий и какой вывод стоит учесть в следующий раз. Команда OmniAI из Zhejiang University предложила тест, который проверяет именно такую память: EmbodiedMemory-Bench, или EMem-Bench. В нём 2 554 интерактивных эпизода, где агенту нужно извлечь опыт из истории и выполнить последующее задание, действуя в среде.1
17
Память проверяют действием
В обычном тесте на память модель может просто ответить на вопрос о прошлом. EMem-Bench устроен иначе: сначала агент получает хронологическую мультимодальную историю взаимодействий, а затем — новую задачу. Чтобы справиться, ему нужно сохранить или обновить нужные сведения и применить их на практике.1
11
Бенчмарк проверяет четыре навыка:
- Помнить увиденное: например, удержать в памяти, где находился предмет при предыдущем наблюдении.
- Отслеживать изменения: обновить сведения, если предмет переместили или изменили его состояние.
- Учитывать результаты действий: запомнить информацию, которую показала обратная связь среды, например удалось ли выполнить действие.
- Переносить опыт: применить усвоенное правило или исправление в новой ситуации — с другим предметом или в другой сцене.
11
16
Так проверяется не только то, сохранил ли агент информацию, но и смог ли он воспользоваться ею в следующей задаче.1
Какие ошибки приводят к провалам
При подготовке бенчмарка команда разобрала 100 неудачных траекторий Gemini-3-Flash и Qwen3-VL-32B в наборах EB-ALF и EB-Hab бенчмарка EmbodiedBench. В публикации проблемы с памятью разделили на четыре категории:
- Не запомнил визуальные детали — 35%. Предмет попадал в поле зрения, но агент не удержал в памяти его местоположение и позже искал его снова.
- Не учёл изменения в среде — 18%. Предмет уже переместили или изменили, а агент продолжил действовать, исходя из старых данных.
- Не сохранил обратную связь — 31%. Результат действия сообщил важную информацию — например, удалось ли захватить предмет, — но агент её не учёл.
- Не перенёс полученный опыт — 7%. Ранее агенту уже показывали правильный подход или исправляли его ошибку, однако в новой ситуации он повторил её.
Вместе эти категории составили 91% ошибок в разобранной выборке. Это доля среди специально отобранных неудачных траекторий, а не общая частота ошибок моделей и не результат случайной выборки.
Как устроена система EMem
В той же работе представлена внешняя система памяти Embodied-Memorizer (EMem). Она распределяет опыт по трём типам записей: о сценах, пространстве и событиях. Команда также обучила EMem-8B — модель, которая должна научиться управлять такой памятью и использовать её.1
6
15
В сравнении, где базовой моделью во всех вариантах служила GPT-5.4-mini, средняя успешность без EMem составила 35,3%, а с этой системой — 58,9%. Для сравнения, результат TeleMem в том же тесте был 37,8%.6 Эти показатели относятся к конкретному бенчмарку и условиям эксперимента; их нельзя считать обещанием такого же эффекта в любых задачах.
Публикация и оговорка о реальных роботах
Статью отправили на arXiv 23 сентября 2026 года.17 В публикации китайских СМИ от 18 октября рассказывалось о бенчмарке; на странице команды также перечислены материалы о проекте.
6
13 В одной из публикаций говорилось, что примерно через три недели после выпуска число загрузок EMem-Bench на Hugging Face приблизилось к 30 000. Это историческая оценка из публикации, а не подтверждённое текущее число загрузок.
6
EMem-Bench оценивает память в интерактивных симуляциях.1
4 Такие результаты показывают, как системы справляются с заданиями бенчмарка, но сами по себе не доказывают, что память будет столь же надёжно работать на физическом роботе. Для этого нужны проверки в реальных условиях, в том числе при шуме датчиков и ошибках исполнения.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Что запоминает робот: тест Zhejiang University для ИИ-агентов»?
EMem Bench включает 2 554 интерактивных эпизода и проверяет, умеет ли агент запоминать прошлый опыт и применять его позже.
Какие ключевые моменты необходимо проверить в первую очередь?
EMem Bench включает 2 554 интерактивных эпизода и проверяет, умеет ли агент запоминать прошлый опыт и применять его позже. Бенчмарк охватывает четыре навыка: помнить увиденное, отслеживать изменения, учитывать обратную связь от действий и переносить опыт на новые задачи.
Что мне делать дальше на практике?
В сравнении на GPT 5.4 mini система памяти EMem повысила среднюю успешность с 35,3% до 58,9%.
Источники
arxiv.orgBenchmarking Embodied Memory for Long-Horizon ...
163.com具身智能体长程记忆：看见不等于记住，浙大提出具身记忆基准