多模態交叉對抗攻擊
運行與監控
風險描述
利用多模態模型(如 GPT-4V、Gemini)的圖文配對弱點,提供矛盾的圖片與文字輸入。例如圖片顯示貓但文字描述為「這是一隻危險的狗」,模型可能受其中一個模態誤導而做出錯誤判斷。此攻擊在多模態 AI Agent 中尤其危險,因為決策會直接觸發工具呼叫等操作。
框架對照
iso 23894R2
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 多模態一致性檢查
- 單模態獨立驗證
處理步驟
- 實施跨模態一致性檢查,偵測圖文語義矛盾
- 對安全關鍵決策採用單模態獨立驗證後再融合
- 訓練模型識別常見的跨模態對抗模式
- 在 Agent 執行前加入跨模態語義一致性門檻