S0083嚴重

目標劫持攻擊

運行與監控

風險描述

攻擊者在輸入中附加欺騙性指令,將模型的原始目標重定向至攻擊者指定的目標。不同於簡單的越獄攻擊,目標劫持攻擊可以讓模型在看似完成正常任務的同時,暗中執行惡意操作。例如,讓程式碼助手在生成正確代碼的同時嵌入後門,或讓客服機器人在回答問題的同時收集敏感資訊。

框架對照

iso 23894R2
cosaiPrompt Injection
owasp llmLLM01
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 輸出目標一致性檢驗
  • 指令分離架構

處理步驟

  1. 實施輸出目標一致性檢驗,確認模型輸出是否偏離原始任務目標
  2. 採用指令分離架構,將系統指令與使用者輸入在不同通道處理
  3. 部署輸出審計機制,掃描隱藏的惡意行為或資料外洩
  4. 對 AI Agent 的所有外部操作實施白名單控制