Câu trả lờiĐã xuất bản14 nguồn
Thay vì cắt video theo phút, OmniMem-Lens giúp AI tìm lại đúng sự kiện
OmniMem Lens sắp xếp ký ức video dài theo sự kiện, thay vì chia thành các khoảng thời gian cố định. Hệ thống kết hợp phát hiện thay đổi cảnh với nhận dạng lời nói để nhận ra khi hình ảnh đổi hoặc chủ đề trò chuyện chuyển hướng.
Đăng bởiBiên tập bằng GPT-6 LunaHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- OmniMem Lens sắp xếp ký ức video dài theo sự kiện, thay vì chia thành các khoảng thời gian cố định.
- Hệ thống kết hợp phát hiện thay đổi cảnh với nhận dạng lời nói để nhận ra khi hình ảnh đổi hoặc chủ đề trò chuyện chuyển hướng.
- QbitAI đưa tin khả năng truy hồi tăng tối đa 45,7% và độ trễ hỏi đáp trực tuyến giảm tối đa 97%; đây là kết quả được báo cáo, không phải bảo đảm cho mọi video hay câu hỏi.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: How does OmniMem-Lens, released in AgentMemory version 0.2.0 of Huawei-backed open-source agent framework openJiuwen and reported by QbitAI. Article summary: OmniMem-Lens’s confirmed central idea is to organize long-video memory around events identified through both visual and auditory tracks, rather than arbitrary time slices—“store by event, retrieve by event.” QbitAI’s Nov. Topic tags: general, academic, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
Video dài có thể khiến AI khó tìm đúng thông tin nếu bị chia thành những đoạn thời lượng bằng nhau. Một ý kiến và phần số liệu chứng minh cho ý kiến đó có thể rơi vào hai đoạn khác nhau; ngược lại, một đoạn cũng có thể chứa nhiều chủ đề không liên quan. Kết quả là phần thông tin được truy xuất dễ rời rạc hoặc lẫn quá nhiều nội dung xung quanh.
OmniMem-Lens, được giới thiệu trong openJiuwen AgentMemory 0.2.0, hướng đến cách tổ chức khác: ghi nhớ theo sự kiện thay vì chỉ dựa vào mốc thời gian. QbitAI cho biết hệ thống có thể cải thiện khả năng truy hồi tối đa 45,7% và giảm độ trễ hỏi đáp trực tuyến tối đa 97%.3
4
Vì sao ghi nhớ theo sự kiện có thể hữu ích?
Khi video được cắt theo từng phút, ranh giới giữa các đoạn không nhất thiết trùng với lúc câu chuyện hay cuộc thảo luận chuyển ý. Một sự kiện có thể kéo dài qua nhiều đoạn, trong khi một đoạn duy nhất lại chứa vài chủ đề. Khi cần trả lời một câu hỏi cụ thể, AI có thể bỏ sót phần bằng chứng liên quan hoặc kéo theo nhiều nội dung không cần thiết.
OmniMem-Lens được thiết kế để các đơn vị ký ức bám sát điều đang diễn ra trong video. Nguyên tắc cốt lõi là “lưu theo sự kiện, truy xuất theo sự kiện”; hệ thống dùng cả tín hiệu hình ảnh lẫn âm thanh để nhận diện ranh giới sự kiện.3
29
Kết hợp hình ảnh và lời nói
Ở luồng hình ảnh, hệ thống tìm các thay đổi trong cảnh. Ở luồng lời nói, công nghệ nhận dạng giọng nói giúp phát hiện lúc chủ đề trò chuyện chuyển hướng. Hai tín hiệu này bổ trợ cho nhau: người nói có thể chuyển chủ đề dù slide vẫn giữ nguyên, hoặc khung cảnh có thể đổi mà chủ đề lời nói chưa thay đổi rõ rệt. Bài viết của QbitAI mô tả cả hai loại tín hiệu là một phần trong cách tiếp cận theo sự kiện của OmniMem-Lens.3
29
Hãy hình dung một buổi đánh giá sản phẩm kéo dài hai giờ: sơ đồ kiến trúc vẫn hiển thị suốt 40 phút, nhưng cuộc thảo luận chuyển qua ba chủ đề. Chỉ dựa vào hình ảnh có thể không chia được quãng thời gian này thành các phần hữu ích. Tín hiệu thay đổi chủ đề trong lời nói có thể giúp tách các đoạn, để câu hỏi về số liệu kiểm thử tải tìm đến phần thảo luận phù hợp thay vì kéo lại toàn bộ 40 phút. Đây là ví dụ minh họa cho cách thiết kế được mô tả, không phải tình huống benchmark đã được xác minh trong các trích đoạn nguồn hiện có.
Tổ chức ký ức và truy xuất
Thông tin về bản phát hành cũng mô tả hệ thống có bộ nhớ phân tầng và quy trình xử lý trước video ngoại tuyến để phục vụ tìm kiếm trực tuyến.29 Mục tiêu là giúp AI truy vấn bản ghi dài từ các ký ức đã được sắp xếp, thay vì phải xử lý lại toàn bộ video mỗi khi nhận câu hỏi.
Các trích đoạn nguồn hiện có chưa giải thích đủ chi tiết từng tầng ký ức hay cách hệ thống truy xuất khung hình gốc. Vì vậy, không nên mặc định các thông tin cụ thể về cách triển khai. Việc sắp xếp theo sự kiện có thể giúp giảm ngữ cảnh rời rạc hoặc nhiễu, nhưng không bảo đảm câu trả lời luôn chính xác hay không có hiện tượng bịa thông tin. Khi cần độ chính xác cao, vẫn nên đối chiếu với video gốc.
Các con số hiệu năng nói lên điều gì?
QbitAI báo cáo OmniMem-Lens cải thiện khả năng truy hồi tối đa 45,7% và giảm độ trễ hỏi đáp trực tuyến tối đa 97%.3
4 Một bản tin tổng hợp khác cho biết bài viết đề cập kết quả trên ba benchmark, trong đó mức tăng khả năng truy hồi 45,7% được ghi nhận trên EgoLife-QA.
5
Đây là các mức cải thiện tối đa được báo cáo, không có nghĩa mọi video hay câu hỏi đều đạt kết quả tương tự. Những trích đoạn nguồn hiện có cũng chưa cung cấp đủ chi tiết về thiết lập benchmark để đánh giá độc lập từng kết quả. Do đó, nên xem các con số này là kết quả trong những bài kiểm tra được nêu, chứ không phải cam kết hiệu năng áp dụng rộng rãi.
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Thay vì cắt video theo phút, OmniMem-Lens giúp AI tìm lại đúng sự kiện" là gì?
OmniMem Lens sắp xếp ký ức video dài theo sự kiện, thay vì chia thành các khoảng thời gian cố định.
Những điểm chính cần xác nhận đầu tiên là gì?
OmniMem Lens sắp xếp ký ức video dài theo sự kiện, thay vì chia thành các khoảng thời gian cố định. Hệ thống kết hợp phát hiện thay đổi cảnh với nhận dạng lời nói để nhận ra khi hình ảnh đổi hoặc chủ đề trò chuyện chuyển hướng.
Tôi nên làm gì tiếp theo trong thực tế?
QbitAI đưa tin khả năng truy hồi tăng tối đa 45,7% và độ trễ hỏi đáp trực tuyến giảm tối đa 97%; đây là kết quả được báo cáo, không phải bảo đảm cho mọi video hay câu hỏi.