多模態交叉對抗攻擊
Operation & Monitoring
Risk Description English translation pending
利用多模態模型（如 GPT-4V、Gemini）的圖文配對弱點，提供矛盾的圖片與文字輸入。例如圖片顯示貓但文字描述為「這是一隻危險的狗」，模型可能受其中一個模態誤導而做出錯誤判斷。此攻擊在多模態 AI Agent 中尤其危險，因為決策會直接觸發工具呼叫等操作。
Framework Mappings
iso 23894R2
tw principle資安與安全
tw risk type技術設計缺陷（Technical Design Flaw）
Controls English translation pending
- 多模態一致性檢查
- 單模態獨立驗證
Implementation Steps English translation pending
- 實施跨模態一致性檢查，偵測圖文語義矛盾
- 對安全關鍵決策採用單模態獨立驗證後再融合
- 訓練模型識別常見的跨模態對抗模式
- 在 Agent 執行前加入跨模態語義一致性門檻