AnswersPublished14 sources
AI-agenter skal huske lange videoer etter hva som skjer – ikke etter klokka
OmniMem Lens bruker både endringer i bildet og skifter i samtaleemne til å finne meningsfulle hendelsesgrenser. Hensikten er å unngå at relevant sammenheng splittes mellom tidsbaserte klipp – eller at søket henter med seg unødvendig materiale.
Publisert avRedigert med GPT-6 LunaBilder generert med GPT Image 2
Research answer
Key takeaways
- OmniMem Lens bruker både endringer i bildet og skifter i samtaleemne til å finne meningsfulle hendelsesgrenser.
- Hensikten er å unngå at relevant sammenheng splittes mellom tidsbaserte klipp – eller at søket henter med seg unødvendig materiale.
- QbitAI rapporterer opptil 45,7 prosent høyere gjenfinning og opptil 97 prosent kortere svartid for nettbasert spørsmål og svar; resultatene er rapporterte maksimumstall.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does OmniMem-Lens, released in AgentMemory version 0.2.0 of Huawei-backed open-source agent framework openJiuwen and reported by QbitAI. Article summary: OmniMem-Lens’s confirmed central idea is to organize long-video memory around events identified through both visual and auditory tracks, rather than arbitrary time slices—“store by event, retrieve by event.” QbitAI’s Nov. Topic tags: general, academic, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Når en AI-agent skal svare på spørsmål om en lang video, kan det bli vanskelig å finne riktig sammenheng hvis opptaket deles opp i like lange tidsbiter. En påstand kan havne i ett klipp, mens dokumentasjonen for den ligger i det neste. OmniMem-Lens forsøker å løse dette ved å organisere videominne etter hendelser, ikke bare etter hvor mange sekunder som har gått.
Funksjonen ble introdusert i openJiuwen AgentMemory 0.2.0. Ifølge QbitAI bruker den både visuelle signaler og tale for å finne hendelsesgrenser, og teamet rapporterer opptil 45,7 prosent høyere gjenfinning og opptil 97 prosent kortere svartid for nettbasert spørsmål og svar.3
4
Fra faste tidsbiter til hendelser
En grense på ett minutt er enkel å bruke, men den følger ikke nødvendigvis innholdet. En diskusjon kan gå på tvers av flere klipp, mens ett klipp kan romme flere ulike temaer. Søket risikerer dermed å hente ut et ufullstendig svar, eller å ta med mye omkringliggende innhold som ikke er relevant.
OmniMem-Lens bygger på prinsippet «lagre etter hendelse, hent fram etter hendelse». Målet er at agentens minneenheter skal følge det som faktisk skjer i videoen, framfor vilkårlige tidsgrenser.3
29
Bilde og tale utfyller hverandre
Systemet ser etter endringer i scenen på bildesporet. På talesporet bruker det talegjenkjenning for å oppdage når samtalen skifter tema. De to signalene kan fange opp ulike overganger: En presentasjon kan fortsette på samme lysbilde selv om diskusjonen går over til et nytt tema, og en scene kan endres uten at det talte temaet gjør det.3
29
Tenk deg en to timer lang produktgjennomgang der det samme arkitekturdiagrammet står på skjermen i 40 minutter, mens samtalen rekker innom tre temaer. En ren visuell inndeling ville ikke nødvendigvis skilt diskusjonene fra hverandre. Endringer i samtaletemaet kan derimot bidra til å dele opptaket opp, slik at et spørsmål om testresultater for belastning kan finne fram til den relevante delen i stedet for å hente hele sekvensen. Dette er et illustrerende eksempel på hvordan metoden kan fungere, ikke et verifisert benchmarkresultat.
Kan gi mindre støy – men garanterer ikke riktige svar
Når relevant informasjon samles rundt en hendelse, kan det bli mindre sannsynlig at svaret mangler avgjørende kontekst eller fylles med uvedkommende detaljer. Det kan også redusere behovet for at modellen selv skal sette sammen fragmenter fra ulike klipp. Men en slik organisering gjør ikke svarene automatisk korrekte og fjerner ikke risikoen for hallusinasjoner. Når presisjon er viktig, bør påstander fortsatt kontrolleres mot originalvideoen.
Dekningen av lanseringen beskriver også lagdelt videominne og en arbeidsflyt der videominner klargjøres offline før de søkes i på nett.29 De tilgjengelige kildene gir ikke nok detaljer til å fastslå nøyaktig hvordan lagene er definert eller hvordan enkeltbilder hentes fram. Detaljer om den tekniske implementeringen bør derfor ikke tas for gitt.
Hva ytelsestallene sier – og ikke sier
QbitAI rapporterer opptil 45,7 prosent forbedring i gjenfinning og opptil 97 prosent reduksjon i svartid for nettbasert spørsmål og svar.3
4 En separat nyhetsoppsummering oppgir at resultatene dekker tre benchmarks, og at EgoLife-QA var testen med en økning på 45,7 prosent.
5
Dette er rapporterte toppresultater, ikke et løfte om samme forbedring for alle videoer og spørsmål. Kildeutdragene gir heller ikke nok informasjon om testoppsettet til at resultatene kan vurderes uavhengig. Tallene bør derfor leses som utfall fra de evaluerte testene, ikke som en generell ytelsesgaranti.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AI-agenter skal huske lange videoer etter hva som skjer – ikke etter klokka"?
OmniMem Lens bruker både endringer i bildet og skifter i samtaleemne til å finne meningsfulle hendelsesgrenser.
What are the key points to validate first?
OmniMem Lens bruker både endringer i bildet og skifter i samtaleemne til å finne meningsfulle hendelsesgrenser. Hensikten er å unngå at relevant sammenheng splittes mellom tidsbaserte klipp – eller at søket henter med seg unødvendig materiale.
What should I do next in practice?
QbitAI rapporterer opptil 45,7 prosent høyere gjenfinning og opptil 97 prosent kortere svartid for nettbasert spørsmål og svar; resultatene er rapporterte maksimumstall.