AnswersPublished14 sources
Bukan lagi potong video ikut minit: OmniMem-Lens susun ingatan AI berdasarkan peristiwa
OmniMem Lens menyusun video panjang berdasarkan peristiwa yang dikesan melalui petunjuk visual dan pertuturan, bukan potongan masa yang tetap. Laporan menyebut peningkatan recall sehingga 45.7% dan pengurangan latensi soal jawab dalam talian sehingga 97%; angka ini ialah hasil maksimum yang dilaporkan, bukan jaminan...
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- OmniMem Lens menyusun video panjang berdasarkan peristiwa yang dikesan melalui petunjuk visual dan pertuturan, bukan potongan masa yang tetap.
- Laporan menyebut peningkatan recall sehingga 45.7% dan pengurangan latensi soal jawab dalam talian sehingga 97%; angka ini ialah hasil maksimum yang dilaporkan, bukan jaminan bagi setiap video atau soalan.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does OmniMem-Lens, released in AgentMemory version 0.2.0 of Huawei-backed open-source agent framework openJiuwen and reported by QbitAI. Article summary: OmniMem-Lens’s confirmed central idea is to organize long-video memory around events identified through both visual and auditory tracks, rather than arbitrary time slices—“store by event, retrieve by event.” QbitAI’s Nov. Topic tags: general, academic, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Video yang panjang bukan sekadar sukar ditonton semula — ia juga mencabar untuk dicari oleh ejen AI. Jika rakaman dipotong setiap minit, sesuatu kenyataan dan bukti yang menyokongnya mungkin jatuh dalam bahagian berbeza. OmniMem-Lens, ciri memori multimodal dalam openJiuwen AgentMemory 0.2.0, menggunakan pendekatan berasaskan peristiwa: petunjuk visual dan pertuturan digunakan untuk menyusun maklumat, kemudian mencarinya semula mengikut peristiwa. QbitAI melaporkan peningkatan recall maksimum sebanyak 45.7% dan pengurangan latensi soal jawab dalam talian sehingga 97%.3
4
Mengapa susun memori mengikut peristiwa?
Potongan tetap selama satu minit menganggap setiap sempadan masa sama penting. Namun, satu perbincangan atau tindakan boleh berlanjutan merentasi beberapa potongan, sementara satu potongan pula mungkin mengandungi lebih daripada satu topik. Akibatnya, hasil carian boleh jadi terpecah-pecah atau terlalu luas: bukti yang diperlukan mungkin tertinggal, sedangkan bahan sampingan yang tidak membantu turut disertakan.
OmniMem-Lens bertujuan menjadikan unit memori selari dengan apa yang sedang berlaku, bukan sekadar tempoh masa yang berlalu. Gagasan utamanya ialah “simpan mengikut peristiwa, cari mengikut peristiwa”. Laporan menyatakan sistem ini menggabungkan aliran visual dan audio untuk mengenal pasti sempadan peristiwa.3
29
Petunjuk visual dan pertuturan saling melengkapi
Aliran visual mengesan perubahan pada paparan, manakala aliran pertuturan menggunakan pengecaman pertuturan untuk mengenal pasti perubahan topik. Kedua-dua petunjuk ini boleh melengkapi satu sama lain: topik perbincangan mungkin berubah walaupun slaid atau rajah di skrin tidak berubah, sementara babak boleh bertukar tanpa perubahan ketara pada topik yang disebut. Laporan QbitAI menerangkan kedua-dua jenis petunjuk ini sebagai sebahagian daripada pendekatan berasaskan peristiwa OmniMem-Lens.3
29
Bayangkan satu sesi ulasan produk selama dua jam. Rajah seni bina yang sama kekal di skrin selama 40 minit, tetapi perbualan beralih antara tiga topik. Jika sistem hanya bergantung pada perubahan visual, keseluruhan tempoh itu mungkin tidak terbahagi kepada unit perbincangan yang berguna. Pengesanan perubahan topik dalam pertuturan pula boleh membantu mengasingkan segmen-segmen tersebut. Maka, soalan tentang angka ujian beban boleh menyasarkan bahagian yang berkaitan, bukannya mengambil keseluruhan rakaman 40 minit itu. Ini sekadar contoh untuk menggambarkan reka bentuk yang dilaporkan, bukan contoh penanda aras yang disahkan dalam petikan sumber yang tersedia.
Memori berlapis dan proses carian
Laporan pelancaran turut menyebut memori berlapis serta aliran kerja yang menyediakan memori video secara luar talian sebelum ia digunakan untuk carian dalam talian.29 Secara umum, pendekatan ini bertujuan membolehkan ejen mencari rakaman panjang melalui memori yang telah disusun, tanpa perlu memproses semula keseluruhan video bagi setiap soalan. Namun, petikan sumber yang tersedia tidak menerangkan dengan cukup terperinci takrif setiap lapisan atau cara bingkai asal diambil semula. Oleh itu, butiran pelaksanaan tersebut tidak wajar dianggap pasti.
Susunan berasaskan peristiwa mungkin mengurangkan konteks yang terpecah atau bising, tetapi ia tidak menjamin jawapan yang betul atau bebas daripada halusinasi. Ejen tetap memerlukan bukti yang relevan, dan jika ketepatan penting, pendekatan ini bukan pengganti kepada semakan rakaman asal.
Apa yang ditunjukkan oleh angka prestasi?
QbitAI melaporkan OmniMem-Lens meningkatkan recall sehingga 45.7% dan mengurangkan latensi soal jawab dalam talian sehingga 97%.3
4 Satu ringkasan berita lain menyatakan laporan itu merangkumi keputusan daripada tiga penanda aras dan mengenal pasti EgoLife-QA sebagai penanda aras yang mencatat peningkatan recall sebanyak 45.7%.
5
Angka tersebut ialah peningkatan maksimum yang dilaporkan — bukan jaminan bahawa setiap video atau soalan akan mendapat hasil yang sama. Petikan sumber yang tersedia juga tidak memberikan butiran penanda aras yang cukup untuk menilai tetapan ujian secara bebas atau membandingkan semua keputusan. Jadi, angka itu paling tepat dibaca sebagai hasil yang dilaporkan bagi ujian yang dinilai, bukannya jaminan prestasi sejagat.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Bukan lagi potong video ikut minit: OmniMem-Lens susun ingatan AI berdasarkan peristiwa"?
OmniMem Lens menyusun video panjang berdasarkan peristiwa yang dikesan melalui petunjuk visual dan pertuturan, bukan potongan masa yang tetap.
What are the key points to validate first?
OmniMem Lens menyusun video panjang berdasarkan peristiwa yang dikesan melalui petunjuk visual dan pertuturan, bukan potongan masa yang tetap. Laporan menyebut peningkatan recall sehingga 45.7% dan pengurangan latensi soal jawab dalam talian sehingga 97%; angka ini ialah hasil maksimum yang dilaporkan, bukan jaminan bagi setiap video atau soalan.