AntwortenVeröffentlicht18 Quellen
EMem-Bench prüft das Langzeitgedächtnis von KI-Agenten
Der EMem Bench des OmniAI Teams an der Zhejiang Universität umfasst 2.554 interaktive Aufgaben. Geprüft werden vier Fähigkeiten: frühere Beobachtungen erinnern, Veränderungen nachverfolgen, Rückmeldungen aus Interaktionen behalten und Erfahrungen auf neue Aufgaben übertragen.
Veröffentlicht vonBearbeitet mit GPT-6 LunaBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Der EMem Bench des OmniAI Teams an der Zhejiang Universität umfasst 2.554 interaktive Aufgaben.
- Geprüft werden vier Fähigkeiten: frühere Beobachtungen erinnern, Veränderungen nachverfolgen, Rückmeldungen aus Interaktionen behalten und Erfahrungen auf neue Aufgaben übertragen.
- In einer Analyse von 100 Fehlverläufen entfielen 91 Prozent auf vier Arten von Gedächtnisproblemen.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Zhejiang University’s OmniAI Group’s EmbodiedMemory-Bench (EMem-Bench), reported on October 18, 2026, when was its paper posted to a. Article summary: EmbodiedMemory-Bench (EMem-Bench) is Zhejiang University’s OmniAI Group’s benchmark for testing whether embodied agents can build and update memories from past interactions, then use those memories to complete later task. Topic tags: general, academic, general web, government, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
Ein KI-Agent in einer simulierten Wohnung muss nicht nur erkennen, was gerade vor ihm liegt. Er sollte auch wissen, wo ein Gegenstand zuvor war, ob eine Handlung funktioniert hat und ob sich die Umgebung inzwischen verändert hat. Genau solche Fähigkeiten prüft EmbodiedMemory-Bench (EMem-Bench), ein Benchmark des OmniAI-Teams an der Zhejiang-Universität. Das Paper wurde am 23. September 2026 bei arXiv eingereicht. Der Benchmark umfasst 2.554 interaktive Episoden aus vier Aufgabenbereichen.1
17
Was der Benchmark testet
Bei einem klassischen Gedächtnistest könnte ein Modell gefragt werden, was zuvor passiert ist. EMem-Bench geht einen Schritt weiter: Der Agent erhält zunächst eine zeitlich geordnete, multimodale Interaktionsgeschichte. Anschließend muss er eine neue Aufgabe in der Umgebung durch Handlungen lösen. Dabei soll er relevante Informationen aus der Vergangenheit abrufen oder sein Wissen aktualisieren.1
11
Die vier Aufgabenbereiche prüfen, ob ein Agent:11
16
- frühere Beobachtungen behält – etwa, wo ein Gegenstand zuvor zu sehen war;
- Veränderungen nachverfolgt – zum Beispiel, ob ein Objekt bewegt oder verändert wurde;
- Rückmeldungen aus Interaktionen erinnert – etwa, ob ein Greifversuch erfolgreich war oder eine Handlung eine Einschränkung erkennen ließ;
- Erfahrungen überträgt – also eine gelernte Regel oder Korrektur auf einen anderen Gegenstand oder eine neue Szene anwendet.
Entscheidend ist nicht nur, ob der Agent vergangene Informationen wiedergeben kann. Bewertet wird, ob er sie bei einer späteren Aufgabe passend einsetzt.1
Welche Gedächtnisfehler in Tests auffielen
Als Motivation für den Benchmark analysierte das Team 100 Fehlverläufe von Gemini-3-Flash und Qwen3-VL-32B in den EmbodiedBench-Suites EB-ALF und EB-Hab. Die vier Kategorien rund um Gedächtnisprobleme verteilten sich dabei wie folgt:
- Visuelle Details vergessen: 35 Prozent. Ein Gegenstand war zuvor zu sehen, doch der Agent behielt seinen Standort nicht und suchte später wiederholt danach.
- Veränderungen übersehen: 18 Prozent. Ein Gegenstand war bewegt oder bearbeitet worden, der Agent handelte aber weiterhin nach dem alten Zustand.
- Interaktionsfeedback nicht behalten: 31 Prozent. Informationen aus dem Ergebnis einer Handlung – etwa, ob ein Greifversuch gelang – gingen verloren.
- Erfahrungen nicht übertragen: 7 Prozent. Trotz einer früheren Demonstration oder Korrektur wiederholte der Agent denselben Fehler bei einem anderen Gegenstand.
Zusammen machen die Kategorien 91 Prozent der untersuchten Fehlverläufe aus. Das beschreibt eine ausgewählte Stichprobe von Fehlern und ist weder die allgemeine Fehlerrate der beiden Modelle noch das Ergebnis einer zufälligen Auswahl.
EMem soll Erinnerungen nutzbar machen
Neben dem Benchmark stellte das Team Embodied-Memorizer (EMem) vor. Das externe Gedächtnissystem ordnet Erfahrungen in Szenen-, Raum- und Ereigniserinnerungen. Außerdem trainierte das Team EMem-8B, ein Modell, das solche Erinnerungen verwalten und bei Aufgaben einsetzen soll.1
6
15
In einem Vergleich mit GPT-5.4-mini als gemeinsamem Basismodell lag die durchschnittliche Erfolgsrate ohne EMem bei 35,3 Prozent und mit EMem bei 58,9 Prozent – ein Plus von 23,6 Prozentpunkten. TeleMem erreichte in derselben Vergleichsanordnung 37,8 Prozent.6 Die Zahlen beziehen sich auf den jeweiligen Benchmark und das getestete Setup; sie belegen nicht, dass EMem bei allen Modellen und Aufgaben denselben Zugewinn bringt.
Aufmerksamkeit und offene Fragen
Chinesische Medien berichteten am 18. Oktober 2026 über den Benchmark; auch die GitHub-Seite des Teams listet entsprechende Berichterstattung auf.6
13 Ein Bericht meldete, dass EMem-Bench rund drei Wochen nach der Veröffentlichung bei Hugging Face knapp 30.000 Downloads erreicht habe. Das ist eine damalige Medienangabe, keine bestätigte aktuelle Downloadzahl.
6
Die Tests finden in simulierten Umgebungen statt. Sie zeigen, wie die Systeme bei den Aufgaben des Benchmarks abschneiden, beantworten aber nicht, ob ein Roboter mit realen Sensoren und tatsächlichen Ausführungsfehlern ebenso zuverlässig Erinnerungen nutzt. Dafür wären zusätzliche Tests mit physischen Robotern nötig.1
4
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „EMem-Bench prüft das Langzeitgedächtnis von KI-Agenten“?
Der EMem Bench des OmniAI Teams an der Zhejiang Universität umfasst 2.554 interaktive Aufgaben.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Der EMem Bench des OmniAI Teams an der Zhejiang Universität umfasst 2.554 interaktive Aufgaben. Geprüft werden vier Fähigkeiten: frühere Beobachtungen erinnern, Veränderungen nachverfolgen, Rückmeldungen aus Interaktionen behalten und Erfahrungen auf neue Aufgaben übertragen.
Was soll ich als nächstes in der Praxis tun?
In einer Analyse von 100 Fehlverläufen entfielen 91 Prozent auf vier Arten von Gedächtnisproblemen.
Quellen
arxiv.orgBenchmarking Embodied Memory for Long-Horizon ...
huggingface.colzLiang/EmbodiedMemoryBench · Datasets at Hugging Face
github.comEmbodied-Omni/embodied_memory at main · ZJU-OmniAI/Embodied-Omni
163.com具身智能体长程记忆：看见不等于记住，浙大提出具身记忆基准