答え公開済み14 ソース
長時間動画を「出来事」で記憶するAI、OmniMem-Lensの仕組み
OmniMem Lensは、固定時間ごとではなく、映像や音声から捉えた出来事を単位に動画の記憶を整理します。 QbitAIの報道では、再現率が最大45.7％向上し、オンラインの質問応答レイテンシが最大97％低下したとされています。 数値は評価対象での報告値であり、すべての動画や質問で同じ効果が得られる保証ではありません。
公開者GPT-6 Luna で編集GPT Image 2 で画像を生成
研究の答え
重要なポイント
- OmniMem Lensは、固定時間ごとではなく、映像や音声から捉えた出来事を単位に動画の記憶を整理します。
- QbitAIの報道では、再現率が最大45.7％向上し、オンラインの質問応答レイテンシが最大97％低下したとされています。
- 数値は評価対象での報告値であり、すべての動画や質問で同じ効果が得られる保証ではありません。
AI プロンプト
openai.comCreate a landscape editorial hero image for this Studio Global article: How does OmniMem-Lens, released in AgentMemory version 0.2.0 of Huawei-backed open-source agent framework openJiuwen and reported by QbitAI. Article summary: OmniMem-Lens’s confirmed central idea is to organize long-video memory around events identified through both visual and auditory tracks, rather than arbitrary time slices—“store by event, retrieve by event.” QbitAI’s Nov. Topic tags: general, academic, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
長時間の動画をAIエージェントに検索させるとき、動画を一定の時間ごとに区切るだけでは、話の要点と根拠が別々の区間に分かれてしまうことがあります。openJiuwen AgentMemory 0.2.0に追加された「OmniMem-Lens」は、映像と音声の手がかりから出来事を捉え、動画をイベント単位で整理・検索する機能です。QbitAIは、再現率が最大45.7％向上し、オンライン質問応答のレイテンシが最大97％低下したと報じています。3
4
時間ではなく「何が起きたか」で区切る
たとえば動画を1分ごとに分割すると、ひとつの議題が複数の区間にまたがる一方、ひとつの区間に複数の話題が入ることもあります。その結果、検索で関係する情報が一部抜けたり、周辺の不要な内容まで拾ったりするおそれがあります。
OmniMem-Lensの基本方針は、「イベント単位で記憶し、イベント単位で取り出す」ことです。報道によると、映像と音声の両方を手がかりに、動画内の出来事の境目を見つけます。3
29
映像の変化と、会話の話題転換を組み合わせる
映像側では、画面や場面の変化を捉えます。音声側では、音声認識（ASR）の文字起こしをもとに話題の移り変わりを検出します。画面は同じでも会話が別の論点に移る場合や、映像が切り替わっても話題は続く場合があるため、両方の手がかりを使う設計です。3
29
たとえば、2時間の製品レビューで同じ構成図が40分間表示され、その間に議論が3つの話題へ移ったとします。映像だけを見れば、その40分はひと続きに見えるかもしれませんが、会話の話題転換を捉えれば、記憶を議論ごとに分けられます。負荷テストの数値について質問された場合に、長い区間全体ではなく、関連する話題を探しやすくするイメージです。これは仕組みを説明するための仮定例であり、報道されたベンチマーク事例ではありません。
階層化と、性能の受け止め方
報道では、OmniMem-Lensは階層型の記憶と、動画をオフラインで処理してからオンライン検索に備える流れも採用すると説明されています。29 ただし、確認できる情報だけでは、各階層の具体的な定義や、検索時に元動画のどの部分を取り出すかまでは分かりません。
QbitAIは、再現率が最大45.7％向上し、オンライン質問応答のレイテンシが最大97％低下したと報じています。3
4 別のニュースまとめでは、3つのベンチマークで評価され、EgoLife-QAで再現率が45.7％向上したとされています。
5
いずれも報告された最大値であり、どの動画や質問でも同じ改善が起きるという意味ではありません。また、参照できる情報には評価条件の詳細が十分に含まれていないため、個々の数値を他のシステムと単純比較するには注意が必要です。
イベント単位の記憶は、断片化した情報や検索ノイズを減らす助けになる可能性があります。ただし、回答の正確さや、誤った内容を生成しないことを保証するものではありません。重要な判断では、回答の根拠となった元動画も確認するのが安全です。
Studio Global AI
研究を続けてください
このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。
人々も尋ねます
「長時間動画を「出来事」で記憶するAI、OmniMem-Lensの仕組み」の短い答えは何ですか?
OmniMem Lensは、固定時間ごとではなく、映像や音声から捉えた出来事を単位に動画の記憶を整理します。
最初に検証する重要なポイントは何ですか?
OmniMem Lensは、固定時間ごとではなく、映像や音声から捉えた出来事を単位に動画の記憶を整理します。 QbitAIの報道では、再現率が最大45.7％向上し、オンラインの質問応答レイテンシが最大97％低下したとされています。
次の実践では何をすればいいでしょうか？
数値は評価対象での報告値であり、すべての動画や質問で同じ効果が得られる保証ではありません。