AnswersPublished18 sources
EMem-Bench sprawdza, czy agenci AI potrafią pamiętać i wykorzystywać wcześniejsze doświadczenia
Zespół OmniAI z Zhejiang University opracował EMem Bench — benchmark z 2554 interaktywnymi zadaniami sprawdzającymi, czy agent potrafi zapamiętać wcześniejsze doświadczenia i wykorzystać je później. Testy obejmują cztery umiejętności: przypominanie sobie wcześniejszych obserwacji, śledzenie zmian, zapamiętywanie inf...
Opublikowane przezEdytowane za pomocą GPT-6 LunaObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- Zespół OmniAI z Zhejiang University opracował EMem Bench — benchmark z 2554 interaktywnymi zadaniami sprawdzającymi, czy agent potrafi zapamiętać wcześniejsze doświadczenia i wykorzystać je później.
- Testy obejmują cztery umiejętności: przypominanie sobie wcześniejszych obserwacji, śledzenie zmian, zapamiętywanie informacji zwrotnej z działań i przenoszenie doświadczeń na nowe zadania.
- W analizie 100 nieudanych trajektorii cztery typy problemów z pamięcią stanowiły łącznie 91% przypadków.
- W porównaniu na wspólnym modelu bazowym GPT 5.4 mini system EMem podniósł średni odsetek ukończonych zadań z 35,3% do 58,9%.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Zhejiang University’s OmniAI Group’s EmbodiedMemory-Bench (EMem-Bench), reported on October 18, 2026, when was its paper posted to a. Article summary: EmbodiedMemory-Bench (EMem-Bench) is Zhejiang University’s OmniAI Group’s benchmark for testing whether embodied agents can build and update memories from past interactions, then use those memories to complete later task. Topic tags: general, academic, general web, government, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
Agent AI działający w otoczeniu musi nie tylko rozpoznać, co znajduje się przed nim. Powinien też pamiętać, co widział wcześniej, czego dowiedział się z własnych działań i jak zmieniła się sytuacja. Benchmark EmbodiedMemory-Bench (EMem-Bench), opracowany przez zespół OmniAI z Zhejiang University, sprawdza właśnie taką pamięć długoterminową — i to poprzez zadania, w których agent musi działać w środowisku, a nie tylko odpowiadać na pytania o przeszłość. Zespół podaje, że zestaw obejmuje 2554 interaktywne epizody podzielone na cztery rodzaje zadań.1
17
Jak sprawdzana jest pamięć agenta?
Agent otrzymuje uporządkowaną chronologicznie, multimodalną historię interakcji, a następnie dostaje nowe zadanie do wykonania. Musi zbudować lub zaktualizować pamięć na podstawie wcześniejszych doświadczeń i wykorzystać ją, podejmując działania w środowisku.1
11
Benchmark obejmuje cztery rodzaje wyzwań:
- Przypominanie sobie wcześniejszych obserwacji: agent ma pamiętać szczegóły wizualne, na przykład gdzie wcześniej znajdował się przedmiot.
- Śledzenie zmian: powinien aktualizować wiedzę o położeniu lub stanie przedmiotu, zamiast polegać na nieaktualnych informacjach.
- Zapamiętywanie wyników interakcji: ma zachować informacje ujawnione przez skutki działania, na przykład czy dana czynność się powiodła.
- Przenoszenie doświadczeń na nowe zadania: powinien zastosować wcześniejszą wskazówkę lub wyciągnięty wniosek w nowej sytuacji.
11
16
Ważne jest więc nie samo przechowywanie informacji. O tym, czy agent rzeczywiście coś zapamiętał, świadczy to, czy potrafi później właściwie wykorzystać tę wiedzę w działaniu.1
Jakie błędy pamięci ujawniono?
Przed opracowaniem benchmarku zespół przeanalizował 100 nieudanych trajektorii modeli Gemini-3-Flash i Qwen3-VL-32B w dwóch zestawach EmbodiedBench: EB-ALF i EB-Hab. Badacze przypisali problemy związane z pamięcią do czterech kategorii:
- Pominięte szczegóły wizualne — 35%. Przedmiot był wcześniej widoczny, ale agent nie zapamiętał jego położenia i później szukał go ponownie.
- Niezauważone zmiany w otoczeniu — 18%. Przedmiot został przeniesiony lub poddany działaniu, ale agent nadal postępował tak, jakby jego stan się nie zmienił.
- Niezapamiętana informacja zwrotna z interakcji — 31%. Agent nie zachował informacji wynikającej z efektów działania, na przykład o tym, czy udało się coś chwycić.
- Brak przeniesienia doświadczenia — 7%. Mimo wcześniejszego pokazu lub korekty agent powtarzał błąd przy innym przedmiocie.
Łącznie te cztery kategorie objęły 91% analizowanych niepowodzeń. To odsetek dotyczący wybranej próbki 100 nieudanych trajektorii, a nie ogólna miara błędów obu modeli ani wynik losowego badania.
EMem: pamięć podzielona na kilka typów
Zespół zaproponował również zewnętrzny system pamięci Embodied-Memorizer (EMem), który porządkuje doświadczenia agenta jako pamięć scen, przestrzeni i zdarzeń. Badacze opracowali także EMem-8B — model trenowany do zarządzania tymi zasobami i korzystania z nich.1
6
15 Celem jest nie tylko zapisanie wcześniejszych informacji, lecz także odnalezienie tych, które są istotne dla bieżącego zadania, i przełożenie ich na działanie.
6
W porównaniu, w którym jako wspólny model bazowy zastosowano GPT-5.4-mini, średni odsetek ukończonych zadań wyniósł 35,3% bez EMem i 58,9% z tym systemem — wzrost o 23,6 punktu procentowego. W tym samym porównaniu TeleMem osiągnął 37,8%.6 Wyniki dotyczą konkretnego benchmarku i ustawień testowych; nie dowodzą, że podobna poprawa wystąpi w każdym zadaniu lub dla każdego modelu.
Publikacja i zainteresowanie benchmarkiem
Artykuł opisujący EMem-Bench zgłoszono do arXiv 23 września 2026 r.17 Chińskie media opisały projekt 18 października, a strona zespołu wymieniła również chińskie publikacje na jego temat.
6
13 Według ówczesnego doniesienia, około trzech tygodni po udostępnieniu benchmark pobrano z Hugging Face blisko 30 tys. razy. To liczba podana w relacji medialnej, a nie zweryfikowany aktualny licznik pobrań.
6
Wynik w symulacji to nie test prawdziwego robota
EMem-Bench sprawdza pamięć i jej wpływ na działanie w środowisku symulowanym.1
4 Wyniki mówią więc o skuteczności systemów w ramach tych konkretnych zadań. Same w sobie nie rozstrzygają, czy robot poradzi sobie równie dobrze w świecie fizycznym, gdzie może napotkać zakłócenia czujników lub błędy wykonania. Do oceny tego potrzebne byłyby testy z udziałem rzeczywistych robotów.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "EMem-Bench sprawdza, czy agenci AI potrafią pamiętać i wykorzystywać wcześniejsze doświadczenia"?
Zespół OmniAI z Zhejiang University opracował EMem Bench — benchmark z 2554 interaktywnymi zadaniami sprawdzającymi, czy agent potrafi zapamiętać wcześniejsze doświadczenia i wykorzystać je później.
What are the key points to validate first?
Zespół OmniAI z Zhejiang University opracował EMem Bench — benchmark z 2554 interaktywnymi zadaniami sprawdzającymi, czy agent potrafi zapamiętać wcześniejsze doświadczenia i wykorzystać je później. Testy obejmują cztery umiejętności: przypominanie sobie wcześniejszych obserwacji, śledzenie zmian, zapamiętywanie informacji zwrotnej z działań i przenoszenie doświadczeń na nowe zadania.
What should I do next in practice?
W analizie 100 nieudanych trajektorii cztery typy problemów z pamięcią stanowiły łącznie 91% przypadków.
Sources
arxiv.orgBenchmarking Embodied Memory for Long-Horizon ...
163.com具身智能体长程记忆：看见不等于记住，浙大提出具身记忆基准