AnswersPublished18 sources
EMem-Bench test het langetermijngeheugen van AI-agenten
Het OmniAI team van Zhejiang University ontwikkelde EMem Bench met 2.554 interactieve episodes. De benchmark test vier soorten geheugen: eerdere observaties onthouden, veranderingen in de omgeving bijhouden, feedback uit interacties bewaren en eerdere ervaringen toepassen in een nieuwe taak.
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Het OmniAI team van Zhejiang University ontwikkelde EMem Bench met 2.554 interactieve episodes.
- De benchmark test vier soorten geheugen: eerdere observaties onthouden, veranderingen in de omgeving bijhouden, feedback uit interacties bewaren en eerdere ervaringen toepassen in een nieuwe taak.
- In een handmatige analyse van 100 geselecteerde mislukte trajecten hing 91% samen met een van vier soorten geheugenproblemen.
- Met GPT 5.4 mini als basis verhoogde EMem in de beschreven simulatie de gemiddelde succesratio van 35,3% naar 58,9%.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Zhejiang University’s OmniAI Group’s EmbodiedMemory-Bench (EMem-Bench), reported on October 18, 2026, when was its paper posted to a. Article summary: EmbodiedMemory-Bench (EMem-Bench) is Zhejiang University’s OmniAI Group’s benchmark for testing whether embodied agents can build and update memories from past interactions, then use those memories to complete later task. Topic tags: general, academic, general web, government, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
Een AI-agent die in een omgeving handelt, moet meer kunnen dan herkennen wat er op dat moment voor hem ligt. Hij moet ook onthouden wat hij eerder zag, bijhouden wat er intussen veranderde en eerdere interacties gebruiken bij een volgende taak. Het OmniAI-team van Zhejiang University ontwikkelde EmbodiedMemory-Bench (EMem-Bench) om juist dat langetermijngeheugen te testen. De benchmark bevat 2.554 interactieve episodes, verdeeld over vier taaktypen. De paper werd op 23 september 2026 ingediend bij arXiv. 1
17
Niet alleen terugvertellen, maar ook handelen
Bij een gewone geheugentest kan een model worden gevraagd wat er eerder gebeurde. EMem-Bench gaat een stap verder: de agent krijgt eerst een chronologisch geordende multimodale interactiegeschiedenis en moet daarna een nieuwe taak uitvoeren. De test kijkt dus of het systeem relevante informatie uit eerdere ervaringen kan opbouwen of terughalen én die kan inzetten tijdens het handelen. 1
11
De vier taaktypen richten zich op verschillende vaardigheden:
- Eerdere observaties onthouden: bijvoorbeeld weten waar een voorwerp eerder te zien was.
- Veranderingen bijhouden: de herinnering aan de locatie of toestand van een object aanpassen als die verandert.
- Feedback uit interacties bewaren: onthouden wat een handeling opleverde, zoals of een poging slaagde of een beperking aan het licht bracht.
- Ervaring overdragen: een eerder geleerde regel of correctie toepassen op een ander object of een nieuwe situatie.
11
16
Daarmee wordt geheugen gekoppeld aan een praktisch resultaat: kan de agent de informatie later ook correct gebruiken om de taak te voltooien? 1
Welke geheugenfouten kwamen naar voren?
Ter voorbereiding analyseerde het team 100 mislukte trajecten van Gemini-3-Flash en Qwen3-VL-32B op de EB-ALF- en EB-Hab-onderdelen van EmbodiedBench. De onderzoekers deelden de fouten in vier categorieën in:
- Visuele details vergeten: 35%. Een object was eerder in beeld, maar de agent onthield niet waar het lag en ging later opnieuw zoeken.
- Veranderingen in de omgeving missen: 18%. Een object was verplaatst of bewerkt, maar de agent handelde nog op basis van de oude toestand.
- Feedback uit interacties niet onthouden: 31%. De uitkomst van een handeling gaf nieuwe informatie, maar die werd niet vastgehouden.
- Eerdere ervaring niet toepassen: 7%. Een demonstratie of correctie had al aanwijzingen gegeven, maar bij een ander object maakte de agent opnieuw dezelfde fout.
Samen vormen deze categorieën 91% van de onderzochte mislukte trajecten. Dat cijfer beschrijft alleen de geselecteerde fouten die zijn bekeken; het is geen algemeen faalpercentage voor Gemini-3-Flash of Qwen3-VL-32B en zegt niets over een willekeurige steekproef.
Een extern geheugensysteem: EMem
Naast de benchmark introduceerde het team Embodied-Memorizer (EMem), een extern geheugensysteem dat ervaringen ordent als scène-, ruimtelijke en gebeurtenisherinneringen. Ook trainde het team EMem-8B, een model dat leert zulke herinneringen te beheren en te gebruiken. 1
6
15
In een vergelijking met GPT-5.4-mini als gedeelde basis bedroeg de gemiddelde succesratio zonder EMem 35,3%; met EMem was dat 58,9%. Dat is een stijging van 23,6 procentpunt. In dezelfde vergelijking kwam TeleMem uit op 37,8%. 6
De cijfers zijn resultaten op deze benchmark en onder de beschreven testomstandigheden. Ze vormen geen garantie dat dezelfde verbetering optreedt bij andere modellen of taken.
Aandacht en downloads
De paper verscheen op arXiv op 23 september 2026. 17 Op 18 oktober publiceerden Chinese media een artikel over het onderzoek; de projectpagina van het team vermeldt eveneens berichtgeving.
6
13 Volgens het artikel was EMem-Bench ongeveer drie weken na de release bijna 30.000 keer gedownload via Hugging Face. Dat is een historische, destijds gerapporteerde stand en geen gecontroleerd actueel downloadtotaal.
6
Een simulatiescore is geen bewijs voor een echte robot
EMem-Bench beoordeelt geheugen en de invloed daarvan op latere acties in gesimuleerde omgevingen. 1
4 De resultaten laten zien hoe systemen presteren op de geteste taken, maar bewijzen op zichzelf niet dat ze op fysieke robots even betrouwbaar zijn. In de echte wereld kunnen onder meer sensormetingen ruis bevatten en kunnen handelingen anders uitpakken dan gepland. Voor conclusies over die omstandigheden is validatie met echte robots nodig.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "EMem-Bench test het langetermijngeheugen van AI-agenten"?
Het OmniAI team van Zhejiang University ontwikkelde EMem Bench met 2.554 interactieve episodes.
What are the key points to validate first?
Het OmniAI team van Zhejiang University ontwikkelde EMem Bench met 2.554 interactieve episodes. De benchmark test vier soorten geheugen: eerdere observaties onthouden, veranderingen in de omgeving bijhouden, feedback uit interacties bewaren en eerdere ervaringen toepassen in een nieuwe taak.
What should I do next in practice?
In een handmatige analyse van 100 geselecteerde mislukte trajecten hing 91% samen met een van vier soorten geheugenproblemen.
Sources
arxiv.orgBenchmarking Embodied Memory for Long-Horizon ...
163.com具身智能体长程记忆：看见不等于记住，浙大提出具身记忆基准