永続メモリは、AIエージェントが利用者の好み、過去の作業内容、手順、文脈をセッションをまたいで保持するために役立つ。一方で、その記憶に信頼できない情報が入り込めば、攻撃者はその場でAIを誤作動させる必要がない。数日後、あるいは一見無関係な業務中に、汚染された記憶が検索・参照されるタイミングを待てばよいからだ。これが「記憶汚染（memory poisoning）」と呼ばれる脅威である。15

遅れて効く「記憶汚染」の仕組み

記憶汚染は、エージェントが後から「自分が蓄積した知識」として扱う情報の完全性を損なう攻撃だ。典型的には、次の流れを取る。

1. 注入：エージェントが読み取りを許可された入力や外部環境から、悪意ある、または誤解を招く内容に接触する。
2. 永続化：その内容が、正規のメモ、事実情報、過去の作業記録などとともに長期記憶へ保存される。
3. 潜伏：エージェントは通常どおりの作業を続けるため、書き込み時点では異常が目立たないことがある。
4. 検索：将来の質問、タスク、特定の表現、意味的に近い文脈がきっかけとなり、汚染された記憶が呼び出される。
5. 発火：取得された内容が、エージェントの推論、提案、ツール利用に影響する。125

通常のプロンプトインジェクションと大きく異なるのは、時間差にある。悪意ある情報が一度でも記憶に書き込まれると、最初の会話で目に見える変化がなくても、後のセッションに影響し得る。130

攻撃者が毎回、記憶データベースを直接改ざんする必要があるわけではない。Webエージェントを扱った研究では、通常の操作で閲覧した細工済みページの内容が記憶を汚染し、別のサイトで行う後日のタスクで発火する、セッション横断・サイト横断の攻撃が報告されている。2

2,614件の攻撃軌跡から見えた4つの型

カルガリー大学に関係する研究者らは、メモリ機能を備えたLLMエージェントに関する2,614件のシミュレーションされた多段階攻撃軌跡を分析した。攻撃が成功したか否かだけでなく、侵害が時間の経過とともにどのように進行するかを調べた点が特徴だ。対象となったのは、連鎖汚染、方針書き換え、バックドア起動、緩やかなドリフトの4パターンである。14

連鎖汚染

初期段階で有害な前提を記憶に植え付け、後続の推論がその前提を土台に進むようにする手法だ。途中の判断はそれぞれもっともらしく見える場合があり、個々のステップだけを見ても悪意を判別しにくいまま、最終的に危険な結果へ至り得る。14

方針書き換え

記憶されたルール、承認、優先順位、運用上の前提を改変する攻撃である。後のタスクで改変済みの記録が検索されると、エージェントは本来の方針ではなく、攻撃者が差し替えた方針に従う可能性がある。14

バックドア起動

汚染された記憶は、特定の語句、タスクの文脈、意味的に近い質問といった「トリガー」が現れるまで休眠する。関連研究では、汚染された1回の観測内容が保存され、将来の別セッション・別Webサイトでの作業時に起動し得る広範なリスクが示されている。214

緩やかなドリフト

より小さく目立ちにくい変化を重ね、エージェントの提案や行動パターンを時間をかけてずらしていく型だ。持続的なメモリ侵害に関する研究では、語句や意味が似た後続タスクで汚染記録が検索され、セッションをまたいで危険なパターンを生み出し得るとされる。29

なぜ「1回だけ」の安全テストでは見落とすのか

この分析が強調するのは、攻撃の影響が現れるまでの時間的な隔たりである。攻撃によっては、情報が記憶に書き込まれた時点では通常の挙動と区別しにくく、害は後の検索時まで表面化しない。14

リスクは常に直線的に高まるとも限らない。複数回のやり取りの間は静かに見えても、関連するタスク、文脈、トリガーが現れ、汚染記憶の検索順位が上がったときに危険性が急に顕在化する可能性がある。別の研究も、記憶汚染を「注入」と、その後の検索による「起動」という2段階の過程として捉えている。5

そのため、「このプロンプトで直ちに失敗したか」という単発テストだけでは、誤った安心感を生む恐れがある。各ステップごとにコンテキストをリセットする評価、間の通常セッションを省く評価、将来の関連タスクを試さない評価も、発火に必要な条件を再現できない可能性がある。

評価すべき単位は、個別のプロンプトではなく軌跡全体である。

• 信頼できない入力と、記憶への書き込み判断
• その後に挟まる通常のセッション
• 記憶を引き出し得る将来の質問と、その意味的な言い換え
• 検索後のエージェントの推論
• ツールや外部システムを介して起きる最終的な行動214

自律性と権限が高いほど、影響は大きい

汚染の直接的な結果は、単に誤った回答にとどまるかもしれない。しかし、記憶を参照した後に行動する権限をAIエージェントに与えている場合、問題はさらに大きくなる。後日の検索結果が、メール送信、ブラウザ上の処理、データベース操作など、ツールを伴う業務に影響する可能性がある。

eTAMPの研究は、エージェントが閲覧を許可されている環境から間接的に持ち込まれた脅威に対し、権限ベースの防御だけでは十分に防げない場合があることを示している。2

この観点では、メモリは便利な補助機能ではなく、運用上のセキュリティ境界の一部だ。信頼できない素材を受け入れ、後で有用な文脈として提示する記憶システムは、目立たなかった過去の出来事を遅延型のインシデントへ変え得る。14

実務で確認したいテストと防御のチェックリスト

引用した研究は、万能な防御策の確立や、成熟したインシデント対応が組織にどこまで普及しているかを示すものではない。ただし、永続メモリを明示的な統制の対象となる、セキュリティ上重要なシステムとして扱う必要性は支持している。

時間をまたいで試験する

遅延トリガー、繰り返しのセッション、その間の通常タスク、検索語の言い換え、現実的なツール権限を含む敵対的評価を行う。疑わしい書き込みを見つけた後、エージェントが安全な状態に戻れるかも確認する。214

記憶への書き込みに来歴を付ける

記憶がどこから来たのか、なぜ保存されたのか、保存時にどの信頼条件が適用されたのかを記録する。長期メモリ保護に関する研究では、書き込みと認可判断を改ざん検知可能なログに記録する方式が提案されており、監査可能な記憶履歴の価値を示している。31

記憶と権限を切り分ける

検索されたメモが、検証済みの指示や正式なポリシーと同じ権威を自動的に持つべきではない。外部由来など信頼度の低い記憶を基にエージェントが実行できることを制限し、認証情報や影響の大きい操作は分離する。

書き込みと検索の両方を監視する

検知を入力プロンプトだけに限定してはならない。何が記憶に入り、何が後で呼び出され、それに続いてどの操作が行われたかを追跡できるようにする。検索から行動への遷移を観測する検知手法も提案されているが、報告された結果はアーキテクチャに依存するため、普遍的な解決策とみなすべきではない。18

取り消しとロールバックを準備する

対応手順には、疑わしい記憶エントリーの特定、隔離または削除、可能な範囲での派生要約の無効化、汚染の疑いがある記憶が検索された後に実行された操作の見直しを含める必要がある。

問われるのは「今」ではなく「後でも」安全か

記憶汚染によって、問いは「AIエージェントは今この瞬間、悪意あるプロンプトを拒めるか」から、「将来の判断に影響し得る情報を安全に管理できるか」へ変わる。

2,614件の軌跡を分析した研究が示すのは、単一のやり取りだけでは答えを判断できないということだ。永続メモリを持つAIエージェントでは、信頼できない入力から、保存、時間差での検索、現実世界への行動まで、経路全体を追うセキュリティテストが求められる。14

永続メモリは、AIエージェントが利用者の好み、過去の作業内容、手順、文脈をセッションをまたいで保持するために役立つ。一方で、その記憶に信頼できない情報が入り込めば、攻撃者はその場でAIを誤作動させる必要がない。数日後、あるいは一見無関係な業務中に、汚染された記憶が検索・参照されるタイミングを待てばよいからだ。これが「記憶汚染（memory poisoning）」と呼ばれる脅威である。15

遅れて効く「記憶汚染」の仕組み

記憶汚染は、エージェントが後から「自分が蓄積した知識」として扱う情報の完全性を損なう攻撃だ。典型的には、次の流れを取る。

1. 注入：エージェントが読み取りを許可された入力や外部環境から、悪意ある、または誤解を招く内容に接触する。
2. 永続化：その内容が、正規のメモ、事実情報、過去の作業記録などとともに長期記憶へ保存される。
3. 潜伏：エージェントは通常どおりの作業を続けるため、書き込み時点では異常が目立たないことがある。
4. 検索：将来の質問、タスク、特定の表現、意味的に近い文脈がきっかけとなり、汚染された記憶が呼び出される。
5. 発火：取得された内容が、エージェントの推論、提案、ツール利用に影響する。125

通常のプロンプトインジェクションと大きく異なるのは、時間差にある。悪意ある情報が一度でも記憶に書き込まれると、最初の会話で目に見える変化がなくても、後のセッションに影響し得る。130

攻撃者が毎回、記憶データベースを直接改ざんする必要があるわけではない。Webエージェントを扱った研究では、通常の操作で閲覧した細工済みページの内容が記憶を汚染し、別のサイトで行う後日のタスクで発火する、セッション横断・サイト横断の攻撃が報告されている。2

2,614件の攻撃軌跡から見えた4つの型

カルガリー大学に関係する研究者らは、メモリ機能を備えたLLMエージェントに関する2,614件のシミュレーションされた多段階攻撃軌跡を分析した。攻撃が成功したか否かだけでなく、侵害が時間の経過とともにどのように進行するかを調べた点が特徴だ。対象となったのは、連鎖汚染、方針書き換え、バックドア起動、緩やかなドリフトの4パターンである。14

連鎖汚染

初期段階で有害な前提を記憶に植え付け、後続の推論がその前提を土台に進むようにする手法だ。途中の判断はそれぞれもっともらしく見える場合があり、個々のステップだけを見ても悪意を判別しにくいまま、最終的に危険な結果へ至り得る。14

方針書き換え

記憶されたルール、承認、優先順位、運用上の前提を改変する攻撃である。後のタスクで改変済みの記録が検索されると、エージェントは本来の方針ではなく、攻撃者が差し替えた方針に従う可能性がある。14

バックドア起動

汚染された記憶は、特定の語句、タスクの文脈、意味的に近い質問といった「トリガー」が現れるまで休眠する。関連研究では、汚染された1回の観測内容が保存され、将来の別セッション・別Webサイトでの作業時に起動し得る広範なリスクが示されている。214

緩やかなドリフト

より小さく目立ちにくい変化を重ね、エージェントの提案や行動パターンを時間をかけてずらしていく型だ。持続的なメモリ侵害に関する研究では、語句や意味が似た後続タスクで汚染記録が検索され、セッションをまたいで危険なパターンを生み出し得るとされる。29

なぜ「1回だけ」の安全テストでは見落とすのか

この分析が強調するのは、攻撃の影響が現れるまでの時間的な隔たりである。攻撃によっては、情報が記憶に書き込まれた時点では通常の挙動と区別しにくく、害は後の検索時まで表面化しない。14

リスクは常に直線的に高まるとも限らない。複数回のやり取りの間は静かに見えても、関連するタスク、文脈、トリガーが現れ、汚染記憶の検索順位が上がったときに危険性が急に顕在化する可能性がある。別の研究も、記憶汚染を「注入」と、その後の検索による「起動」という2段階の過程として捉えている。5

そのため、「このプロンプトで直ちに失敗したか」という単発テストだけでは、誤った安心感を生む恐れがある。各ステップごとにコンテキストをリセットする評価、間の通常セッションを省く評価、将来の関連タスクを試さない評価も、発火に必要な条件を再現できない可能性がある。

評価すべき単位は、個別のプロンプトではなく軌跡全体である。

• 信頼できない入力と、記憶への書き込み判断
• その後に挟まる通常のセッション
• 記憶を引き出し得る将来の質問と、その意味的な言い換え
• 検索後のエージェントの推論
• ツールや外部システムを介して起きる最終的な行動214

自律性と権限が高いほど、影響は大きい

汚染の直接的な結果は、単に誤った回答にとどまるかもしれない。しかし、記憶を参照した後に行動する権限をAIエージェントに与えている場合、問題はさらに大きくなる。後日の検索結果が、メール送信、ブラウザ上の処理、データベース操作など、ツールを伴う業務に影響する可能性がある。

eTAMPの研究は、エージェントが閲覧を許可されている環境から間接的に持ち込まれた脅威に対し、権限ベースの防御だけでは十分に防げない場合があることを示している。2

この観点では、メモリは便利な補助機能ではなく、運用上のセキュリティ境界の一部だ。信頼できない素材を受け入れ、後で有用な文脈として提示する記憶システムは、目立たなかった過去の出来事を遅延型のインシデントへ変え得る。14

実務で確認したいテストと防御のチェックリスト

引用した研究は、万能な防御策の確立や、成熟したインシデント対応が組織にどこまで普及しているかを示すものではない。ただし、永続メモリを明示的な統制の対象となる、セキュリティ上重要なシステムとして扱う必要性は支持している。

時間をまたいで試験する

遅延トリガー、繰り返しのセッション、その間の通常タスク、検索語の言い換え、現実的なツール権限を含む敵対的評価を行う。疑わしい書き込みを見つけた後、エージェントが安全な状態に戻れるかも確認する。214

記憶への書き込みに来歴を付ける

記憶がどこから来たのか、なぜ保存されたのか、保存時にどの信頼条件が適用されたのかを記録する。長期メモリ保護に関する研究では、書き込みと認可判断を改ざん検知可能なログに記録する方式が提案されており、監査可能な記憶履歴の価値を示している。31

記憶と権限を切り分ける

検索されたメモが、検証済みの指示や正式なポリシーと同じ権威を自動的に持つべきではない。外部由来など信頼度の低い記憶を基にエージェントが実行できることを制限し、認証情報や影響の大きい操作は分離する。

書き込みと検索の両方を監視する

検知を入力プロンプトだけに限定してはならない。何が記憶に入り、何が後で呼び出され、それに続いてどの操作が行われたかを追跡できるようにする。検索から行動への遷移を観測する検知手法も提案されているが、報告された結果はアーキテクチャに依存するため、普遍的な解決策とみなすべきではない。18

取り消しとロールバックを準備する

対応手順には、疑わしい記憶エントリーの特定、隔離または削除、可能な範囲での派生要約の無効化、汚染の疑いがある記憶が検索された後に実行された操作の見直しを含める必要がある。

問われるのは「今」ではなく「後でも」安全か

記憶汚染によって、問いは「AIエージェントは今この瞬間、悪意あるプロンプトを拒めるか」から、「将来の判断に影響し得る情報を安全に管理できるか」へ変わる。

2,614件の軌跡を分析した研究が示すのは、単一のやり取りだけでは答えを判断できないということだ。永続メモリを持つAIエージェントでは、信頼できない入力から、保存、時間差での検索、現実世界への行動まで、経路全体を追うセキュリティテストが求められる。14