उत्तरप्रकाशित14 स्रोत
AI एजेंट लंबे वीडियो को घटनाओं के हिसाब से कैसे याद रखेंगे
OmniMem Lens लंबे वीडियो को तय समय खंडों में बाँटने के बजाय दृश्य और भाषण संकेतों से पहचानी गई घटनाओं के आधार पर व्यवस्थित करता है। रिपोर्ट में रिकॉल में अधिकतम 45.7% सुधार और ऑनलाइन सवाल जवाब की देरी में अधिकतम 97% कमी बताई गई है; ये हर वीडियो के लिए गारंटी नहीं हैं।
प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- OmniMem Lens लंबे वीडियो को तय समय खंडों में बाँटने के बजाय दृश्य और भाषण संकेतों से पहचानी गई घटनाओं के आधार पर व्यवस्थित करता है।
- रिपोर्ट में रिकॉल में अधिकतम 45.7% सुधार और ऑनलाइन सवाल जवाब की देरी में अधिकतम 97% कमी बताई गई है; ये हर वीडियो के लिए गारंटी नहीं हैं।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: How does OmniMem-Lens, released in AgentMemory version 0.2.0 of Huawei-backed open-source agent framework openJiuwen and reported by QbitAI. Article summary: OmniMem-Lens’s confirmed central idea is to organize long-video memory around events identified through both visual and auditory tracks, rather than arbitrary time slices—“store by event, retrieve by event.” QbitAI’s Nov. Topic tags: general, academic, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
लंबे वीडियो से किसी खास बात का जवाब ढूँढ़ना AI एजेंट के लिए मुश्किल हो सकता है—खासकर तब, जब रिकॉर्डिंग को एक-जैसे समय-खंडों में बाँटा गया हो। किसी चर्चा का दावा एक हिस्से में और उसके समर्थन में दिए गए आँकड़े अगले हिस्से में आ सकते हैं। दूसरी ओर, एक ही खंड में कई अलग-अलग विषय भी शामिल हो सकते हैं।
openJiuwen AgentMemory 0.2.0 में पेश किया गया OmniMem-Lens इस समस्या से निपटने के लिए वीडियो को केवल बीते समय के हिसाब से नहीं, बल्कि उसमें हो रही घटनाओं के आधार पर व्यवस्थित करता है। यह दृश्य और भाषण—दोनों तरह के संकेतों का इस्तेमाल करता है। QbitAI की रिपोर्ट के मुताबिक, इससे रिकॉल में अधिकतम 45.7% सुधार और ऑनलाइन सवाल-जवाब की देरी में अधिकतम 97% कमी दर्ज की गई।3
4
समय के खंड नहीं, घटनाएँ क्यों?
मान लीजिए किसी वीडियो को हर एक मिनट पर काट दिया जाए। यह तरीका लागू करना आसान है, लेकिन एक मिनट का निशान ज़रूरी नहीं कि चर्चा या गतिविधि में स्वाभाविक बदलाव से मेल खाए। कोई विषय कई खंडों में फैल सकता है, जबकि एक ही खंड में बातचीत का रुख बदल सकता है। इससे खोज के दौरान जरूरी संदर्भ छूट सकता है या जवाब के साथ बेकार की आसपास की जानकारी जुड़ सकती है।
OmniMem-Lens का मूल विचार है: घटना के आधार पर यादें बनाना और घटना के आधार पर उन्हें खोजना। रिपोर्ट के अनुसार, यह वीडियो में घटनाओं को पहचानने और यादों को व्यवस्थित करने के लिए दृश्य तथा श्रव्य संकेतों को साथ रखता है।3
29
दृश्य और भाषण संकेत मिलकर कैसे काम करते हैं?
दृश्य ट्रैक यह देखता है कि स्क्रीन पर क्या बदल रहा है—मसलन, दृश्य या दिखाई जा रही सामग्री में बदलाव। भाषण ट्रैक, वाक्-पहचान यानी ASR के जरिए, यह पहचानने में मदद करता है कि बातचीत का विषय कब बदलता है।3
29
दोनों संकेत एक-दूसरे की कमी पूरी कर सकते हैं। उदाहरण के लिए, स्क्रीन पर स्लाइड स्थिर रह सकती है, जबकि बोलने वाले नए विषय पर चले जाएँ। इसके उलट, दृश्य बदल सकता है, भले ही बातचीत में स्पष्ट विषय-परिवर्तन न हो। सिर्फ एक तरह के संकेत पर निर्भर रहने से ऐसे बदलाव पकड़ना छूट सकता है।
एक उदाहरण लें: दो घंटे की उत्पाद-समीक्षा में वास्तुकला का एक ही आरेख 40 मिनट तक स्क्रीन पर रहता है, लेकिन बातचीत के दौरान तीन विषय आते हैं। केवल दृश्य देखकर उस पूरे हिस्से को एक ही घटना मानने का खतरा होगा। भाषण में विषय-परिवर्तन पहचानने से उस हिस्से को अलग चर्चा-खंडों में बाँटने में मदद मिल सकती है। तब लोड-टेस्ट के आँकड़ों से जुड़ा सवाल पूरे 40 मिनट की सामग्री के बजाय संबंधित चर्चा तक पहुँच सकता है। यह समझाने के लिए दिया गया काल्पनिक उदाहरण है, प्रकाशित बेंचमार्क का सत्यापित परीक्षण नहीं।
खोज में शोर और गलत जवाब का जोखिम
घटना के आधार पर संदर्भ जुटाने का उद्देश्य बिखरी हुई जानकारी को बेहतर ढंग से जोड़ना और अप्रासंगिक सामग्री कम करना है। इससे गलत या अधूरे संदर्भ पर जवाब बनने की आशंका घट सकती है, लेकिन यह गलत जवाब या hallucination से पूरी सुरक्षा की गारंटी नहीं देता। जवाब की विश्वसनीयता इस बात पर भी निर्भर करती है कि सही साक्ष्य खोज में मिला या नहीं और मॉडल ने उसे ठीक से समझा या नहीं। जहाँ सटीकता महत्वपूर्ण हो, मूल वीडियो की जाँच करना अब भी उपयोगी है।
यादों की परतें और रिपोर्ट किए गए नतीजे
रिलीज़ की कवरेज में परतों में व्यवस्थित मेमोरी और ऐसा कार्यप्रवाह भी बताया गया है जिसमें वीडियो की यादें पहले से तैयार की जाती हैं और बाद में ऑनलाइन खोजी जाती हैं।29 इसका उद्देश्य हर सवाल पर पूरे लंबे वीडियो को फिर से संसाधित करने के बजाय व्यवस्थित यादों के जरिए जानकारी ढूँढ़ना है। उपलब्ध स्रोत-अंश मेमोरी की हर परत की सटीक परिभाषा या मूल वीडियो के फ्रेम वापस पाने की प्रक्रिया स्पष्ट नहीं करते; इसलिए उन तकनीकी विवरणों को निश्चित तथ्य नहीं मानना चाहिए।
QbitAI की रिपोर्ट OmniMem-Lens के लिए रिकॉल में अधिकतम 45.7% सुधार और ऑनलाइन सवाल-जवाब की देरी में अधिकतम 97% कमी बताती है।3
4 एक अलग समाचार-सारांश के मुताबिक, नतीजे तीन बेंचमार्क पर बताए गए हैं और EgoLife-QA में रिकॉल का सुधार 45.7% था।
5
ये अधिकतम रिपोर्ट किए गए नतीजे हैं—इसका मतलब यह नहीं कि हर वीडियो या हर सवाल पर उतना ही सुधार मिलेगा। उपलब्ध स्रोत-अंशों में परीक्षण की पूरी विधि और सभी बेंचमार्क की तुलना का विवरण नहीं है। इसलिए इन आँकड़ों को जाँचे गए परीक्षणों के परिणाम के रूप में पढ़ना चाहिए, सार्वभौमिक प्रदर्शन-गारंटी के रूप में नहीं।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"AI एजेंट लंबे वीडियो को घटनाओं के हिसाब से कैसे याद रखेंगे" का संक्षिप्त उत्तर क्या है?
OmniMem Lens लंबे वीडियो को तय समय खंडों में बाँटने के बजाय दृश्य और भाषण संकेतों से पहचानी गई घटनाओं के आधार पर व्यवस्थित करता है।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
OmniMem Lens लंबे वीडियो को तय समय खंडों में बाँटने के बजाय दृश्य और भाषण संकेतों से पहचानी गई घटनाओं के आधार पर व्यवस्थित करता है। रिपोर्ट में रिकॉल में अधिकतम 45.7% सुधार और ऑनलाइन सवाल जवाब की देरी में अधिकतम 97% कमी बताई गई है; ये हर वीडियो के लिए गारंटी नहीं हैं।