持久記憶令 AI 智能體（AI agent）可以記住用戶偏好、舊任務、工作程序同背景資料，做事自然更連貫。不過，呢本「數碼筆記簿」亦可能變成攻擊入口：一旦不可信內容被寫入記憶，攻擊者未必需要即場令系統做錯；佢可以等到日後某個看似無關嘅任務，令智能體重新檢索到呢段被污染嘅記錄，再受其影響。 15

記憶投毒點樣變成延遲攻擊？

記憶投毒（memory poisoning）針對嘅，係智能體日後會當成「自己累積得返嚟嘅知識」嘅內容完整性。常見過程可以拆成五步：

1. 注入： 智能體透過正常可讀取嘅輸入或環境，接觸到誤導性或對抗性內容。
2. 持久化： 系統將呢些內容寫入長期記憶，混喺正常筆記、事實資料或歷史任務紀錄之中。
3. 潛伏： 智能體之後仍可照常處理無害工作，因此最初嗰次寫入未必引人注意。
4. 檢索： 日後嘅查詢、任務、特定字詞或語意相近嘅情境，令系統翻出被污染嘅記憶。
5. 啟動： 呢段記憶繼而影響智能體嘅推理、建議，甚至工具使用。 125

同一般提示詞注入（prompt injection）最大分別在於時間差。惡意記憶一旦成功寫入，即使起初互動冇明顯異常，都可以影響之後多次工作階段。 130

而且，攻擊者唔一定要直接入侵記憶資料庫。網頁智能體研究描述過一種跨工作階段、跨網站攻擊：智能體正常瀏覽一個被操控嘅網頁時，將其中內容納入記憶；到日後喺另一個網站處理另一項工作，污染內容先被觸發。 2

卡加利大學團隊睇到咩？

與卡加利大學有關嘅研究人員分析咗 2,614 條模擬、多步驟攻擊軌跡，對象係具備記憶功能嘅大型語言模型智能體。佢哋唔只問「攻擊有冇成功」，而係追蹤失陷如何隨時間發展，並研究四種模式：鏈式投毒、政策改寫、後門觸發同慢性漂移。 14

1. 鏈式投毒

鏈式投毒會喺多步驟流程早期埋下一個有害前提。往後嘅推理即使每一步表面合理，都可能沿住呢個錯誤前提一路建立，最後導向不安全結果。危險之處係：抽出任何單一步驟睇，未必會即刻覺得可疑。 14

2. 政策改寫

政策改寫針對已記住嘅規則、批准、優先次序或操作假設。當之後任務翻出被竄改嘅紀錄，智能體可能跟隨攻擊者置換咗嘅「政策」，而唔係原本應遵守嘅規則。 14

3. 後門觸發

後門式記憶條目可以長時間潛伏，直到後來任務出現合適觸發條件，例如某個字詞、任務情境或語意匹配。相關研究已展示，單次受污染觀察可以被儲存，並喺未來跨工作階段、跨網站嘅工作中啟動。 214

4. 慢性漂移

慢性漂移係指較細微、唔容易即刻察覺嘅改變，逐漸令智能體嘅建議或行動模式偏離正軌。有關持久記憶失陷嘅研究發現，字面或語意相似嘅日後任務可以翻出污染紀錄，並跨工作階段誘發不安全模式。 29

點解一次過測試好容易漏網？

卡加利團隊指出，問題核心係時間：有啲攻擊喺注入當刻，同正常行為幾乎分唔出。真正有害嘅影響，同最初嘅記憶寫入已經分離，要等到日後檢索先浮現。 14

所以風險未必會一路直線上升。系統可能安靜運作咗好多輪，直到某個相關任務、上下文或觸發條件，令被污染記憶喺檢索排序中升得夠高，先突然出事。其他研究亦將記憶投毒概括為兩個階段：先注入，後檢索啟動。 5

如果測試只問：「智能體面對呢條提示詞，當刻有冇失敗？」好容易得出假安全感。同樣地，逐步測試如果每次都重設背景、跳過中間幾次正常工作，或者從來冇安排一個可能觸發檢索嘅未來任務，亦未必重現到攻擊條件。

較合適嘅測試單位，應該係完整軌跡，包括：

• 不可信輸入，以及系統點解決定將其寫入記憶；
• 中間穿插嘅正常工作階段；
• 可能翻出記憶嘅未來查詢，同埋語意變體；
• 檢索後智能體嘅推理；
• 以及其後透過工具或外部系統做出嘅行動。 214

有自主權同工具權限，風險就更大

污染記憶最直接嘅後果，可能只係一個錯誤答案；真正較大嘅風險，係智能體查閱記憶後有權採取行動。一次日後檢索，可以影響佢撰寫電郵、操作瀏覽器流程、處理資料庫，或者使用其他工具完成任務。eTAMP 研究尤其指出，單靠權限型防禦，未必攔得住一個經由智能體本來獲准查看嘅環境、間接帶入嘅威脅。 2

換言之，記憶唔再只係方便功能，而係營運保安邊界嘅一部分。記憶系統如接納不可信材料，之後又將其當成有用背景提供返畀智能體，一次低可見度嘅事件就可能變成延遲發生嘅事故。 14

實務上可以點測、點防？

現有研究並未提出一套放諸四海皆準嘅防禦方案，亦未足以說明有幾多機構已建立成熟嘅應變流程。不過，證據支持將持久記憶當成需要明確保護嘅保安敏感系統。

測試要跨時間，而唔係只測單一提示詞

進行對抗性評估時，應加入延遲觸發、重複工作階段、中間正常任務、不同檢索措辭，以及貼近實際嘅工具權限；亦要測試發現可疑記憶寫入後，智能體能否復原。 214

為每次記憶寫入保留來源紀錄

記錄記憶由邊度而來、點解儲存、寫入時適用咩信任條件。長期記憶保護研究提出，以雜湊鏈保留寫入與授權決定嘅防竄改日誌，反映可審計記憶歷史嘅價值。 31

將「記憶」同「授權」分開

被翻出嘅筆記唔應自動擁有已驗證指令或正式政策嘅權威。對低信任、源自外部嘅記憶，應限制智能體可採取嘅行動；帳密同高影響操作亦應作分隔。

同時監察寫入同檢索

偵測唔可以只望住新輸入。團隊要睇到咩內容入咗記憶、之後翻出咗咩，以及隨後觸發咗邊啲行動。有研究提出觀察「檢索到行動」嘅轉換模式作偵測方法，但其結果依賴特定架構，唔應視為通用解法。 18

預先準備撤銷同回滾

應變程序要能夠找出可疑記憶、隔離或移除相關條目；在可行情況下令衍生摘要失效；並覆核受疑似污染記憶影響後已完成嘅操作。

重點：保安要追蹤整條路徑

記憶投毒令問題由「AI 可唔可以即時頂得住惡意提示詞？」變成「AI 可唔可以安全管理日後仍會影響自己嘅資訊？」卡加利團隊分析 2,614 條軌跡，正正說明單次互動不足以回答呢個問題。對有持久記憶嘅智能體，保安測試必須由不可信輸入、寫入儲存、延遲檢索，一路追到最終嘅現實行動。 14

持久記憶令 AI 智能體（AI agent）可以記住用戶偏好、舊任務、工作程序同背景資料，做事自然更連貫。不過，呢本「數碼筆記簿」亦可能變成攻擊入口：一旦不可信內容被寫入記憶，攻擊者未必需要即場令系統做錯；佢可以等到日後某個看似無關嘅任務，令智能體重新檢索到呢段被污染嘅記錄，再受其影響。 15

記憶投毒點樣變成延遲攻擊？

記憶投毒（memory poisoning）針對嘅，係智能體日後會當成「自己累積得返嚟嘅知識」嘅內容完整性。常見過程可以拆成五步：

1. 注入： 智能體透過正常可讀取嘅輸入或環境，接觸到誤導性或對抗性內容。
2. 持久化： 系統將呢些內容寫入長期記憶，混喺正常筆記、事實資料或歷史任務紀錄之中。
3. 潛伏： 智能體之後仍可照常處理無害工作，因此最初嗰次寫入未必引人注意。
4. 檢索： 日後嘅查詢、任務、特定字詞或語意相近嘅情境，令系統翻出被污染嘅記憶。
5. 啟動： 呢段記憶繼而影響智能體嘅推理、建議，甚至工具使用。 125

同一般提示詞注入（prompt injection）最大分別在於時間差。惡意記憶一旦成功寫入，即使起初互動冇明顯異常，都可以影響之後多次工作階段。 130

而且，攻擊者唔一定要直接入侵記憶資料庫。網頁智能體研究描述過一種跨工作階段、跨網站攻擊：智能體正常瀏覽一個被操控嘅網頁時，將其中內容納入記憶；到日後喺另一個網站處理另一項工作，污染內容先被觸發。 2

卡加利大學團隊睇到咩？

與卡加利大學有關嘅研究人員分析咗 2,614 條模擬、多步驟攻擊軌跡，對象係具備記憶功能嘅大型語言模型智能體。佢哋唔只問「攻擊有冇成功」，而係追蹤失陷如何隨時間發展，並研究四種模式：鏈式投毒、政策改寫、後門觸發同慢性漂移。 14

1. 鏈式投毒

鏈式投毒會喺多步驟流程早期埋下一個有害前提。往後嘅推理即使每一步表面合理，都可能沿住呢個錯誤前提一路建立，最後導向不安全結果。危險之處係：抽出任何單一步驟睇，未必會即刻覺得可疑。 14

2. 政策改寫

政策改寫針對已記住嘅規則、批准、優先次序或操作假設。當之後任務翻出被竄改嘅紀錄，智能體可能跟隨攻擊者置換咗嘅「政策」，而唔係原本應遵守嘅規則。 14

3. 後門觸發

後門式記憶條目可以長時間潛伏，直到後來任務出現合適觸發條件，例如某個字詞、任務情境或語意匹配。相關研究已展示，單次受污染觀察可以被儲存，並喺未來跨工作階段、跨網站嘅工作中啟動。 214

4. 慢性漂移

慢性漂移係指較細微、唔容易即刻察覺嘅改變，逐漸令智能體嘅建議或行動模式偏離正軌。有關持久記憶失陷嘅研究發現，字面或語意相似嘅日後任務可以翻出污染紀錄，並跨工作階段誘發不安全模式。 29

點解一次過測試好容易漏網？

卡加利團隊指出，問題核心係時間：有啲攻擊喺注入當刻，同正常行為幾乎分唔出。真正有害嘅影響，同最初嘅記憶寫入已經分離，要等到日後檢索先浮現。 14

所以風險未必會一路直線上升。系統可能安靜運作咗好多輪，直到某個相關任務、上下文或觸發條件，令被污染記憶喺檢索排序中升得夠高，先突然出事。其他研究亦將記憶投毒概括為兩個階段：先注入，後檢索啟動。 5

如果測試只問：「智能體面對呢條提示詞，當刻有冇失敗？」好容易得出假安全感。同樣地，逐步測試如果每次都重設背景、跳過中間幾次正常工作，或者從來冇安排一個可能觸發檢索嘅未來任務，亦未必重現到攻擊條件。

較合適嘅測試單位，應該係完整軌跡，包括：

• 不可信輸入，以及系統點解決定將其寫入記憶；
• 中間穿插嘅正常工作階段；
• 可能翻出記憶嘅未來查詢，同埋語意變體；
• 檢索後智能體嘅推理；
• 以及其後透過工具或外部系統做出嘅行動。 214

有自主權同工具權限，風險就更大

污染記憶最直接嘅後果，可能只係一個錯誤答案；真正較大嘅風險，係智能體查閱記憶後有權採取行動。一次日後檢索，可以影響佢撰寫電郵、操作瀏覽器流程、處理資料庫，或者使用其他工具完成任務。eTAMP 研究尤其指出，單靠權限型防禦，未必攔得住一個經由智能體本來獲准查看嘅環境、間接帶入嘅威脅。 2

換言之，記憶唔再只係方便功能，而係營運保安邊界嘅一部分。記憶系統如接納不可信材料，之後又將其當成有用背景提供返畀智能體，一次低可見度嘅事件就可能變成延遲發生嘅事故。 14

實務上可以點測、點防？

現有研究並未提出一套放諸四海皆準嘅防禦方案，亦未足以說明有幾多機構已建立成熟嘅應變流程。不過，證據支持將持久記憶當成需要明確保護嘅保安敏感系統。

測試要跨時間，而唔係只測單一提示詞

進行對抗性評估時，應加入延遲觸發、重複工作階段、中間正常任務、不同檢索措辭，以及貼近實際嘅工具權限；亦要測試發現可疑記憶寫入後，智能體能否復原。 214

為每次記憶寫入保留來源紀錄

記錄記憶由邊度而來、點解儲存、寫入時適用咩信任條件。長期記憶保護研究提出，以雜湊鏈保留寫入與授權決定嘅防竄改日誌，反映可審計記憶歷史嘅價值。 31

將「記憶」同「授權」分開

被翻出嘅筆記唔應自動擁有已驗證指令或正式政策嘅權威。對低信任、源自外部嘅記憶，應限制智能體可採取嘅行動；帳密同高影響操作亦應作分隔。

同時監察寫入同檢索

偵測唔可以只望住新輸入。團隊要睇到咩內容入咗記憶、之後翻出咗咩，以及隨後觸發咗邊啲行動。有研究提出觀察「檢索到行動」嘅轉換模式作偵測方法，但其結果依賴特定架構，唔應視為通用解法。 18

預先準備撤銷同回滾

應變程序要能夠找出可疑記憶、隔離或移除相關條目；在可行情況下令衍生摘要失效；並覆核受疑似污染記憶影響後已完成嘅操作。

重點：保安要追蹤整條路徑

記憶投毒令問題由「AI 可唔可以即時頂得住惡意提示詞？」變成「AI 可唔可以安全管理日後仍會影響自己嘅資訊？」卡加利團隊分析 2,614 條軌跡，正正說明單次互動不足以回答呢個問題。對有持久記憶嘅智能體，保安測試必須由不可信輸入、寫入儲存、延遲檢索，一路追到最終嘅現實行動。 14