AnswersPublished14 sources
זוכרת אירועים, לא דקות: כך OmniMem-Lens מחפשת מידע בסרטונים ארוכים
במקום לחלק סרטון למקטעי זמן קבועים, OmniMem Lens שואפת לארגן ולשלוף מידע לפי אירועים שזוהו בתמונה ובדיבור. לפי הדיווחים, השיטה שיפרה את יכולת השליפה בעד 45.7% והפחיתה את זמן המענה לשאלות בעד 97%; אלה תוצאות מרביות מדווחות, לא הבטחה לכל סרטון.
פורסם על ידינערך באמצעות GPT-6 Lunaהתמונות נוצרו באמצעות GPT Image 2
Research answer
Key takeaways
- במקום לחלק סרטון למקטעי זמן קבועים, OmniMem Lens שואפת לארגן ולשלוף מידע לפי אירועים שזוהו בתמונה ובדיבור.
- לפי הדיווחים, השיטה שיפרה את יכולת השליפה בעד 45.7% והפחיתה את זמן המענה לשאלות בעד 97%; אלה תוצאות מרביות מדווחות, לא הבטחה לכל סרטון.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does OmniMem-Lens, released in AgentMemory version 0.2.0 of Huawei-backed open-source agent framework openJiuwen and reported by QbitAI. Article summary: OmniMem-Lens’s confirmed central idea is to organize long-video memory around events identified through both visual and auditory tracks, rather than arbitrary time slices—“store by event, retrieve by event.” QbitAI’s Nov. Topic tags: general, academic, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
כשסרטון ארוך מחולק למקטעים שווים לפי זמן, גבול שרירותי עלול להפריד בין אמירה חשובה לבין הנתונים שתומכים בה. OmniMem-Lens, יכולת חדשה ב-openJiuwen AgentMemory 0.2.0, מציעה דרך אחרת: לארגן את הזיכרון לפי אירועים, בעזרת רמזים חזותיים וקוליים, ולשלוף מידע בהתאם לאירוע הרלוונטי. לפי הדיווחים, השיטה שיפרה את יכולת השליפה בעד 45.7% והפחיתה את זמן המענה המקוון לשאלות בעד 97%.3
4
למה לא פשוט לחלק את הסרטון למקטעים קבועים?
חלוקה, למשל, למקטעים של דקה מניחה שכל גבול זמן חשוב באותה מידה. בפועל, דיון אחד עשוי להימשך על פני כמה מקטעים, ומקטע יחיד עשוי לכלול כמה נושאים. כך תוצאת חיפוש עלולה להיות חלקית — למשל, להחזיר טענה בלי הנתונים שמסבירים אותה — או רועשת, עם הרבה חומר סמוך שאינו עוזר לענות.
הרעיון של OmniMem-Lens הוא לארגן את יחידות הזיכרון לפי מה שמתרחש בסרטון ולא לפי משך הזמן בלבד: «לשמור לפי אירוע, לשלוף לפי אירוע». לפי הדיווח, המערכת נעזרת בשני מסלולים, חזותי וקולי, כדי לזהות גבולות בין אירועים.3
29
התמונה והדיבור משלימים זה את זה
המסלול החזותי בוחן שינויים בסצנה, ואילו המסלול הקולי נעזר בזיהוי דיבור כדי לזהות מעבר בין נושאים. השילוב עשוי לסייע במקרים שבהם השיחה מחליפה נושא אבל השקופית נשארת על המסך — וגם כשהתמונה משתנה בלי שינוי ברור בנושא השיחה. הדיווח על OmniMem-Lens מתאר שימוש בשני סוגי הרמזים כחלק מהגישה מבוססת-האירועים.3
29
נניח, כדוגמה היפותטית, סקירת מוצר בת שעתיים שבה תרשים ארכיטקטורה נשאר על המסך במשך 40 דקות, בזמן שהדיון עובר בין שלושה נושאים. חלוקה שמסתמכת רק על שינויי תמונה עלולה להשאיר את כל פרק הזמן הזה כיחידה אחת גדולה. זיהוי שינויי נושא בדיבור עשוי להפריד בין חלקי הדיון, כך ששאלה על נתוני בדיקת עומס תוכל להתמקד בחלק הרלוונטי במקום להחזיר את כל 40 הדקות. זו המחשה של אופן הפעולה המתואר, ולא דוגמת מבחן שאומתה במקורות הזמינים.
זיכרון מאורגן לא מבטיח תשובה נכונה
סיקור ההשקה מתאר גם זיכרון מדורג ותהליך שבו זיכרונות הווידאו מוכנים מראש, לפני החיפוש המקוון.29 במילים פשוטות, הכוונה היא לאפשר לסוכן לחפש בתוך הקלטה ארוכה באמצעות זיכרון מאורגן, במקום לעבד מחדש את הסרטון כולו בכל שאלה. המקורות הזמינים אינם מפרטים די הצורך את שכבות הזיכרון או את אופן השליפה של פריימים מסוימים, ולכן אין להסיק מהם פרטים טכניים נוספים.
ארגון לפי אירועים עשוי לצמצם הקשר מקוטע או עודף, אך הוא לא מבטיח שהתשובה תהיה נכונה או נטולת הזיות. עדיין נדרשות ראיות רלוונטיות, וכשדיוק חשוב כדאי לבדוק את הסרטון המקורי.
מה מלמדים נתוני הביצועים?
QbitAI מדווחת על שיפור של עד 45.7% ביכולת השליפה ועל קיצור של עד 97% בזמן המענה המקוון לשאלות.3
4 סיכום חדשותי נוסף מציין שהדיווח כולל תוצאות משלושה מבחני ביצועים, ושבמבחן EgoLife-QA נרשם שיפור של 45.7% בשליפה.
5
חשוב לקרוא את המספרים בהקשר: מדובר בשיפורים המרביים שדווחו, ולא בתוצאה מובטחת לכל סרטון או שאלה. פרטי המבחנים הזמינים אינם מספיקים כדי להעריך באופן עצמאי את תנאי הבדיקה או להשוות את כל התוצאות. לכן נכון לראות בהם תוצאות שדווחו עבור המבחנים שנבדקו, ולא הבטחה כללית לביצועים.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "זוכרת אירועים, לא דקות: כך OmniMem-Lens מחפשת מידע בסרטונים ארוכים"?
במקום לחלק סרטון למקטעי זמן קבועים, OmniMem Lens שואפת לארגן ולשלוף מידע לפי אירועים שזוהו בתמונה ובדיבור.
What are the key points to validate first?
במקום לחלק סרטון למקטעי זמן קבועים, OmniMem Lens שואפת לארגן ולשלוף מידע לפי אירועים שזוהו בתמונה ובדיבור. לפי הדיווחים, השיטה שיפרה את יכולת השליפה בעד 45.7% והפחיתה את זמן המענה לשאלות בעד 97%; אלה תוצאות מרביות מדווחות, לא הבטחה לכל סרטון.