S0085重大

上下文視窗記憶體投毒

運行與監控

風險描述

在長對話或多輪互動中,攻擊者在早期對話中植入惡意指令片段,這些片段在上下文視窗中逐漸累積,直到觸發條件成立時才激活攻擊。由於長上下文中人類難以追蹤所有先前對話內容,此攻擊具有高度隱蔽性。特別是在 AI Agent 的持久化記憶場景中,投毒效果可能跨越多個工作階段。

框架對照

iso 23894R2
cosaiPrompt Injection
owasp llmLLM01
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 上下文安全掃描
  • 記憶體定期清理

處理步驟

  1. 對上下文視窗內容進行定期安全掃描,偵測累積性的指令模式
  2. 實施記憶體定期清理策略,限制歷史對話的保留範圍
  3. 對 Agent 持久化記憶設立安全審查機制
  4. 部署即時的對話意圖分析,識別跨輪次的攻擊協調行為