AnswersPublished18 sources
Kan AI-agenter huske, hvad de har gjort? Nyt benchmark tester langtidshukommelse
Zhejiang Universitys OmniAI gruppe har udviklet EMem Bench med 2.554 interaktive opgaver. Benchmarken tester fire typer hukommelse: at huske observationer, opdatere viden om ændringer, lære af feedback og overføre erfaringer til nye opgaver.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Zhejiang Universitys OmniAI gruppe har udviklet EMem Bench med 2.554 interaktive opgaver.
- Benchmarken tester fire typer hukommelse: at huske observationer, opdatere viden om ændringer, lære af feedback og overføre erfaringer til nye opgaver.
- I en analyse af 100 udvalgte fejlsituationer blev 91 procent knyttet til hukommelsesproblemer.
- I en specifik simuleringstest med GPT 5.4 mini steg succesraten fra 35,3 til 58,9 procent med EMem.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Zhejiang University’s OmniAI Group’s EmbodiedMemory-Bench (EMem-Bench), reported on October 18, 2026, when was its paper posted to a. Article summary: EmbodiedMemory-Bench (EMem-Bench) is Zhejiang University’s OmniAI Group’s benchmark for testing whether embodied agents can build and update memories from past interactions, then use those memories to complete later task. Topic tags: general, academic, general web, government, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
AI-agenter, der skal handle i et miljø, har brug for mere end at forstå det, de ser lige nu. De skal også kunne huske, hvad de tidligere har observeret, holde styr på ændringer og lære af resultatet af deres handlinger.
Det er den type langtidshukommelse, Zhejiang Universitys OmniAI-gruppe vil teste med EmbodiedMemory-Bench, også kaldet EMem-Bench. Benchmarken består af 2.554 interaktive forløb, hvor agenten skal bruge tidligere erfaringer til at løse en senere opgave i et simuleret miljø. Artiklen blev indsendt til arXiv den 23. september 2026.1
17
Fire sider af hukommelsen
I stedet for blot at spørge en model, hvad der skete tidligere, giver EMem-Bench agenten en tidsordnet, multimodal historik over interaktioner. Derefter skal den handle i miljøet for at løse en ny opgave. Det tester både, om agenten kan danne eller opdatere minder, og om den kan bruge dem rigtigt.1
11
Benchmarken dækker fire evner:11
16
- At huske observationer: For eksempel hvor en genstand befandt sig, da agenten så den tidligere.
- At følge ændringer: At opdatere hukommelsen, når en genstand flyttes eller ændrer tilstand.
- At lære af interaktioner: At huske information, som først blev tydelig efter en handling, for eksempel om et forsøg lykkedes.
- At overføre erfaring: At bruge en regel eller en rettelse, man har lært før, på en ny genstand eller situation.
Pointen er, at hukommelsen bliver afprøvet gennem handling: Det er ikke nok at kunne gengive fortiden, hvis agenten ikke kan bruge den i den næste opgave.1
Hvad gik galt i tidligere tests?
Som motivation for arbejdet gennemgik holdet 100 fejlsituationer fra Gemini-3-Flash og Qwen3-VL-32B i EmbodiedBenchs testpakker EB-ALF og EB-Hab. Forskerne fordelte de udvalgte fejl på fire hukommelsesproblemer:
- Glemte visuelle detaljer: 35 procent. Agenten havde set en genstand, men huskede ikke dens placering og ledte derfor efter den igen.
- Overså ændringer i miljøet: 18 procent. En genstand var flyttet eller blevet ændret, men agenten handlede stadig ud fra den gamle tilstand.
- Huskede ikke feedback fra handlinger: 31 procent. Agenten tog ikke ny information med sig, selv om handlingens resultat havde afsløret noget vigtigt.
- Overførte ikke erfaring: 7 procent. Agenten havde fået en demonstration eller rettelse, men gentog fejlen med en anden genstand.
Tilsammen udgjorde de fire kategorier 91 procent af de gennemgåede fejl. Det gælder denne udvalgte samling af fejlsituationer – ikke modellernes samlede fejlrate eller et tilfældigt udsnit af alle deres forsøg.
En ekstern hukommelse gav højere succesrate
Forskerne præsenterede også Embodied-Memorizer (EMem), et eksternt hukommelsessystem, der organiserer erfaringer som scene-, rum- og hændelsesminder. De udviklede desuden EMem-8B, en model, der trænes i at administrere og bruge disse minder.1
6
15
I en sammenligning, hvor GPT-5.4-mini blev brugt som fælles grundmodel, var den gennemsnitlige succesrate 35,3 procent uden EMem og 58,9 procent med EMem – en stigning på 23,6 procentpoint. TeleMem nåede 37,8 procent i samme sammenligning.6
Resultaterne gælder den konkrete benchmark og testopsætning. De er ikke en garanti for, at systemet vil klare sig lige så godt på andre opgaver eller med andre modeller.
Omtale og downloads
Kinesiske medier omtalte benchmarken den 18. oktober 2026, og forskergruppens hjemmeside henviser også til en artikel om projektet.6
13 Ifølge omtalen havde EMem-Bench fået tæt på 30.000 downloads på Hugging Face omkring tre uger efter lanceringen. Det er et tal fra mediedækningen på det tidspunkt, ikke en verificeret opgørelse over det aktuelle antal downloads.
6
Simulering er ikke det samme som en rigtig robot
EMem-Bench vurderer hukommelse gennem opgaver i simulerede miljøer.1
4 Testresultaterne viser derfor, hvordan systemerne klarede sig i netop disse opgaver. De dokumenterer ikke i sig selv, at en robot vil huske lige så pålideligt i den fysiske verden, hvor sensorer kan støje, og handlinger kan udføres anderledes end planlagt. Det kræver særskilt afprøvning på fysiske robotter.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Kan AI-agenter huske, hvad de har gjort? Nyt benchmark tester langtidshukommelse"?
Zhejiang Universitys OmniAI gruppe har udviklet EMem Bench med 2.554 interaktive opgaver.
What are the key points to validate first?
Zhejiang Universitys OmniAI gruppe har udviklet EMem Bench med 2.554 interaktive opgaver. Benchmarken tester fire typer hukommelse: at huske observationer, opdatere viden om ændringer, lære af feedback og overføre erfaringer til nye opgaver.
What should I do next in practice?
I en analyse af 100 udvalgte fejlsituationer blev 91 procent knyttet til hukommelsesproblemer.
Sources
arxiv.orgBenchmarking Embodied Memory for Long-Horizon ...
huggingface.colzLiang/EmbodiedMemoryBench · Datasets at Hugging Face
github.comEmbodied-Omni/embodied_memory at main · ZJU-OmniAI/Embodied-Omni
163.com具身智能体长程记忆：看见不等于记住，浙大提出具身记忆基准