多模態提示注入
運行與監控
風險描述
攻擊者將惡意指令隱藏在圖像、音訊或影片等非文字模態中,利用多模態模型的理解能力觸發提示注入。例如,在圖片中嵌入人眼不可見但模型可讀取的文字指令,或在語音中混入超音波頻段的隱藏命令。由於現有防禦主要針對文字提示,多模態注入常能繞過安全過濾器。
框架對照
iso 23894R2
cosaiPrompt Injection
owasp llmLLM01
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 跨模態安全掃描
- 輸入標準化處理
處理步驟
- 對所有模態的輸入進行安全掃描,不僅限於文字
- 實施輸入標準化處理(如圖片重新編碼、音訊降噪)以消除隱藏內容
- 部署跨模態指令偵測器,識別非文字模態中的文字指令模式
- 在模態融合前進行獨立安全驗證