目標劫持攻擊
運行與監控
風險描述
攻擊者在輸入中附加欺騙性指令,將模型的原始目標重定向至攻擊者指定的目標。不同於簡單的越獄攻擊,目標劫持攻擊可以讓模型在看似完成正常任務的同時,暗中執行惡意操作。例如,讓程式碼助手在生成正確代碼的同時嵌入後門,或讓客服機器人在回答問題的同時收集敏感資訊。
框架對照
iso 23894R2
cosaiPrompt Injection
owasp llmLLM01
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 輸出目標一致性檢驗
- 指令分離架構
處理步驟
- 實施輸出目標一致性檢驗,確認模型輸出是否偏離原始任務目標
- 採用指令分離架構,將系統指令與使用者輸入在不同通道處理
- 部署輸出審計機制,掃描隱藏的惡意行為或資料外洩
- 對 AI Agent 的所有外部操作實施白名單控制