คำตอบเผยแพร่แล้ว14 แหล่งที่มา
OmniMem-Lens ช่วย AI ค้นความทรงจำในวิดีโอยาวด้วยการแบ่งตามเหตุการณ์
OmniMem Lens ใช้สัญญาณจากภาพและเสียงแบ่งวิดีโอยาวตามเหตุการณ์ แทนการตัดเป็นช่วงเวลาคงที่ แนวทางนี้มุ่งลดบริบทที่ขาดตอนหรือมีข้อมูลรบกวน แต่ไม่ได้รับประกันว่าคำตอบของ AI จะถูกต้องหรือไม่มีภาพหลอน รายงานระบุว่าเพิ่มการเรียกคืนข้อมูลได้สูงสุด 45.7% และลดความหน่วงในการตอบคำถามออนไลน์ได้สูงสุด 97% โดยผลจริงขึ้นกับการทดสอ...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- OmniMem Lens ใช้สัญญาณจากภาพและเสียงแบ่งวิดีโอยาวตามเหตุการณ์ แทนการตัดเป็นช่วงเวลาคงที่
- แนวทางนี้มุ่งลดบริบทที่ขาดตอนหรือมีข้อมูลรบกวน แต่ไม่ได้รับประกันว่าคำตอบของ AI จะถูกต้องหรือไม่มีภาพหลอน
- รายงานระบุว่าเพิ่มการเรียกคืนข้อมูลได้สูงสุด 45.7% และลดความหน่วงในการตอบคำถามออนไลน์ได้สูงสุด 97% โดยผลจริงขึ้นกับการทดสอบแต่ละชุด
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How does OmniMem-Lens, released in AgentMemory version 0.2.0 of Huawei-backed open-source agent framework openJiuwen and reported by QbitAI. Article summary: OmniMem-Lens’s confirmed central idea is to organize long-video memory around events identified through both visual and auditory tracks, rather than arbitrary time slices—“store by event, retrieve by event.” QbitAI’s Nov. Topic tags: general, academic, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
วิดีโอยาวอาจค้นหายากสำหรับ AI agent หากถูกหั่นเป็นช่วงเวลาตายตัว เพราะประเด็นสำคัญกับหลักฐานประกอบอาจตกอยู่คนละช่วงกัน OmniMem-Lens ซึ่งเปิดตัวใน openJiuwen AgentMemory 0.2.0 ใช้สัญญาณจากทั้งภาพและเสียงเพื่อจัดความทรงจำตามเหตุการณ์ แล้วค้นกลับโดยอิงเหตุการณ์เหล่านั้น รายงานจาก QbitAI ระบุว่าระบบเพิ่มการเรียกคืนข้อมูลได้สูงสุด 45.7% และลดความหน่วงในการตอบคำถามออนไลน์ได้สูงสุด 97%3
4
ทำไมต้องแบ่งวิดีโอตามเหตุการณ์
การตัดวิดีโอทุกหนึ่งนาทีอาจทำให้เนื้อหาที่ควรอยู่ด้วยกันถูกแยกออกจากกัน ขณะเดียวกัน ช่วงหนึ่งนาทีก็อาจมีหลายหัวข้อปะปนกันได้ ผลคือข้อมูลที่ค้นกลับมาอาจไม่ครบ หรือมีเนื้อหาข้างเคียงที่ไม่ช่วยตอบคำถาม
OmniMem-Lens จึงพยายามจัดหน่วยความจำตามสิ่งที่เกิดขึ้น แทนการยึดว่าเวลาผ่านไปเท่าไร แนวคิดหลักคือ “บันทึกตามเหตุการณ์ ค้นคืนตามเหตุการณ์” โดยใช้ร่องรอยจากภาพและเสียงร่วมกันเพื่อระบุขอบเขตของเหตุการณ์3
29
ใช้ภาพและเสียงช่วยกันจับจุดเปลี่ยน
ระบบดูการเปลี่ยนแปลงของภาพเพื่อสังเกตการเปลี่ยนฉาก ส่วนเสียงพูดจะใช้การรู้จำเสียงพูด (ASR) ช่วยตรวจจับว่าบทสนทนาเปลี่ยนหัวข้อหรือไม่ สัญญาณทั้งสองช่วยเติมเต็มกันได้ เช่น ภาพสไลด์ยังคงเดิมแต่ผู้พูดเปลี่ยนประเด็น หรือภาพเปลี่ยนไปโดยหัวข้อสนทนายังต่อเนื่อง รายงานอธิบายว่า OmniMem-Lens ใช้ทั้งเบาะแสทางภาพและเสียงในแนวทางแบ่งความทรงจำตามเหตุการณ์3
29
ลองนึกถึงการทบทวนผลิตภัณฑ์สมมติที่กินเวลาสองชั่วโมง โดยมีแผนภาพสถาปัตยกรรมค้างอยู่บนจอ 40 นาที แต่บทสนทนาครอบคลุมสามหัวข้อ หากดูภาพอย่างเดียว ช่วงนั้นอาจถูกมองเป็นก้อนเดียว การตรวจจับหัวข้อจากเสียงอาจช่วยแยกบทสนทนาออกเป็นส่วน ๆ เพื่อให้คำถามเรื่องตัวเลขทดสอบโหลดค้นไปยังช่วงที่เกี่ยวข้อง แทนที่จะดึงบทสนทนาทั้ง 40 นาทีมาใช้ ตัวอย่างนี้เป็นเพียงภาพประกอบแนวคิด ไม่ใช่ผลทดสอบที่ยืนยันในข้อมูลที่มี
ความทรงจำหลายระดับและการค้นคืน
รายงานเกี่ยวกับการเปิดตัวกล่าวถึงการจัดเก็บความทรงจำเป็นชั้น ๆ และการเตรียมข้อมูลวิดีโอไว้ล่วงหน้าเพื่อให้ค้นหาได้ระหว่างใช้งานจริง29 แนวคิดคือช่วยให้ agent ค้นวิดีโอยาวจากความทรงจำที่จัดระเบียบแล้ว แทนการประมวลผลวิดีโอทั้งหมดใหม่ทุกครั้งที่มีคำถาม อย่างไรก็ตาม ข้อมูลที่มีไม่ได้อธิบายรายละเอียดของแต่ละชั้นหรือวิธีดึงเฟรมต้นฉบับมากพอ จึงไม่ควรสรุปวิธีทำงานส่วนดังกล่าวเกินกว่าที่รายงานระบุ
การแบ่งตามเหตุการณ์อาจช่วยลดบริบทที่ขาดตอนหรือมีข้อมูลไม่เกี่ยวข้อง แต่ไม่ได้รับประกันว่าคำตอบจะถูกต้องหรือปราศจากภาพหลอน หากต้องการความแม่นยำสูง การตรวจสอบกับวิดีโอต้นฉบับยังเป็นสิ่งสำคัญ
ตัวเลขประสิทธิภาพบอกอะไร
QbitAI รายงานว่า OmniMem-Lens เพิ่มการเรียกคืนข้อมูลได้สูงสุด 45.7% และลดความหน่วงของการตอบคำถามออนไลน์ได้สูงสุด 97%3
4 ส่วนสรุปข่าวอีกแหล่งระบุว่ามีการรายงานผลจากการทดสอบสามชุด และ EgoLife-QA เป็นชุดทดสอบที่มีการเพิ่มขึ้นของ recall 45.7%
5
ตัวเลขเหล่านี้เป็นผลสูงสุดที่มีการรายงาน ไม่ได้หมายความว่าวิดีโอหรือคำถามทุกแบบจะได้ผลเท่ากัน ข้อมูลที่มีไม่ได้ให้รายละเอียดการทดสอบมากพอสำหรับประเมินวิธีทดลองหรือเปรียบเทียบผลทั้งหมดด้วยตนเอง จึงควรมองตัวเลขดังกล่าวเป็นผลที่รายงานจากชุดทดสอบที่ประเมิน ไม่ใช่คำรับประกันประสิทธิภาพในทุกกรณี
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "OmniMem-Lens ช่วย AI ค้นความทรงจำในวิดีโอยาวด้วยการแบ่งตามเหตุการณ์" คืออะไร
OmniMem Lens ใช้สัญญาณจากภาพและเสียงแบ่งวิดีโอยาวตามเหตุการณ์ แทนการตัดเป็นช่วงเวลาคงที่
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
OmniMem Lens ใช้สัญญาณจากภาพและเสียงแบ่งวิดีโอยาวตามเหตุการณ์ แทนการตัดเป็นช่วงเวลาคงที่ แนวทางนี้มุ่งลดบริบทที่ขาดตอนหรือมีข้อมูลรบกวน แต่ไม่ได้รับประกันว่าคำตอบของ AI จะถูกต้องหรือไม่มีภาพหลอน
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
รายงานระบุว่าเพิ่มการเรียกคืนข้อมูลได้สูงสุด 45.7% และลดความหน่วงในการตอบคำถามออนไลน์ได้สูงสุด 97% โดยผลจริงขึ้นกับการทดสอบแต่ละชุด