AnswersPublished14 sources
AI-hukommelse til video: Fra faste tidsklip til begivenheder
OmniMem Lens forsøger at opdele videohukommelse efter, hvad der sker, frem for i faste tidsintervaller. Systemet kombinerer ændringer i billedet med talegenkendelse, der kan opfange skift i samtalens emne.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- OmniMem Lens forsøger at opdele videohukommelse efter, hvad der sker, frem for i faste tidsintervaller.
- Systemet kombinerer ændringer i billedet med talegenkendelse, der kan opfange skift i samtalens emne.
- QbitAI rapporterer op til 45,7 % bedre genkaldelse og op til 97 % lavere svartid, men tallene er ikke en garanti for alle videoer og spørgsmål.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does OmniMem-Lens, released in AgentMemory version 0.2.0 of Huawei-backed open-source agent framework openJiuwen and reported by QbitAI. Article summary: OmniMem-Lens’s confirmed central idea is to organize long-video memory around events identified through both visual and auditory tracks, rather than arbitrary time slices—“store by event, retrieve by event.” QbitAI’s Nov. Topic tags: general, academic, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Lange videoer kan være svære for en AI-agent at søge i, hvis de deles op i ens tidsintervaller. En vigtig pointe og dokumentationen for den kan ende i hver sin bid, mens et enkelt klip kan rumme flere emner. Resultatet kan blive svar med manglende belæg eller unødvendig kontekst.
OmniMem-Lens, som er lanceret i openJiuwen AgentMemory 0.2.0, forsøger at løse problemet ved at organisere videohukommelse efter begivenheder. Systemet bruger både visuelle signaler og tale til at identificere, hvad der sker, og lader agenten søge efter relevante begivenheder. QbitAI rapporterer en maksimal forbedring i genkaldelse på 45,7 % og en reduktion i svartid ved online-spørgsmål og svar på op til 97 %.3
4
Hvorfor huske efter begivenheder?
Et fast klip på for eksempel ét minut behandler alle tidsgrænser, som om de var lige vigtige. Men en diskussion eller handling kan strække sig over flere klip, og ét klip kan indeholde flere emner. Når agenten søger bagefter, kan sammenhængen derfor blive splittet op, eller resultatet kan indeholde mere materiale end nødvendigt.
OmniMem-Lens bygger i stedet på princippet: Gem efter begivenhed, og søg efter begivenhed. Ifølge omtalen kombinerer systemet et visuelt spor og et lydspor for at finde grænser mellem begivenheder.3
29
Billeder og tale supplerer hinanden
Det visuelle spor ser efter ændringer i scenen. Lydsporet bruger talegenkendelse til at registrere, når samtalen skifter emne. De to typer signaler kan supplere hinanden: En præsentation kan fortsætte på samme slide, selv om diskussionen bevæger sig videre, og en scene kan skifte uden et tydeligt emneskift i talen. Begge signaler indgår i den beskrevne tilgang.3
29
Forestil dig en to timer lang produktgennemgang, hvor et arkitekturdiagram bliver vist i 40 minutter, mens samtalen bevæger sig gennem tre emner. En opdeling, der kun ser på billedet, ville ikke nødvendigvis inddele diskussionen i brugbare dele. Talegenkendelse kan hjælpe med at skelne mellem emnerne, så et spørgsmål om tal fra en belastningstest kan føre til den relevante del frem for hele tidsrummet. Det er et hypotetisk eksempel på designideen – ikke et verificeret eksempel fra en benchmarktest.
Hukommelse i flere lag – og vigtige forbehold
Omtalen af udgivelsen beskriver også en lagdelt hukommelse og en arbejdsgang, hvor videohukommelsen forberedes offline og kan søges i online.29 Tanken er, at agenten kan søge i en lang optagelse via organiseret hukommelse i stedet for at skulle gennemgå hele videoen på ny for hvert spørgsmål.
De tilgængelige kildeuddrag forklarer ikke lagene detaljeret eller præcist, hvordan systemet finder de oprindelige videobilleder. Derfor bør man ikke drage sikre konklusioner om de konkrete implementeringsdetaljer.
En mere målrettet opdeling kan mindske fragmenteret eller støjfyldt kontekst, men den kan ikke garantere korrekte svar eller forhindre hallucinationer. Hvis præcision er afgørende, kan det stadig være nødvendigt at kontrollere svaret mod selve videoen.
Hvad viser de rapporterede tal?
QbitAI rapporterer, at OmniMem-Lens forbedrer genkaldelsen med op til 45,7 % og reducerer svartiden ved online-spørgsmål og svar med op til 97 %.3
4 En anden nyhedsopsummering omtaler resultater fra tre benchmarks og fremhæver EgoLife-QA som testen med en stigning i genkaldelse på 45,7 %.
5
Det er de bedste rapporterede resultater, ikke et løfte om samme forbedring for enhver video eller forespørgsel. De tilgængelige uddrag indeholder ikke nok detaljer om testopsætningen til, at resultaterne kan vurderes uafhængigt eller sammenlignes på tværs af alle testene. Tallene bør derfor læses som rapporterede resultater fra de undersøgte tests – ikke som en universel garanti.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AI-hukommelse til video: Fra faste tidsklip til begivenheder"?
OmniMem Lens forsøger at opdele videohukommelse efter, hvad der sker, frem for i faste tidsintervaller.
What are the key points to validate first?
OmniMem Lens forsøger at opdele videohukommelse efter, hvad der sker, frem for i faste tidsintervaller. Systemet kombinerer ændringer i billedet med talegenkendelse, der kan opfange skift i samtalens emne.
What should I do next in practice?
QbitAI rapporterer op til 45,7 % bedre genkaldelse og op til 97 % lavere svartid, men tallene er ikke en garanti for alle videoer og spørgsmål.