上下文視窗記憶體投毒
運行與監控
風險描述
在長對話或多輪互動中,攻擊者在早期對話中植入惡意指令片段,這些片段在上下文視窗中逐漸累積,直到觸發條件成立時才激活攻擊。由於長上下文中人類難以追蹤所有先前對話內容,此攻擊具有高度隱蔽性。特別是在 AI Agent 的持久化記憶場景中,投毒效果可能跨越多個工作階段。
框架對照
iso 23894R2
cosaiPrompt Injection
owasp llmLLM01
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 上下文安全掃描
- 記憶體定期清理
處理步驟
- 對上下文視窗內容進行定期安全掃描,偵測累積性的指令模式
- 實施記憶體定期清理策略,限制歷史對話的保留範圍
- 對 Agent 持久化記憶設立安全審查機制
- 部署即時的對話意圖分析,識別跨輪次的攻擊協調行為