多模態融合對抗攻擊
運行與監控
風險描述
攻擊者同時在多個輸入模態(如文字+圖像、語音+視覺)中注入微小但協同的擾動,利用模態間的融合機制放大攻擊效果。單一模態的擾動可能在安全閾值內,但多模態的協同擾動在融合後可觸發嚴重的模型錯誤。隨著多模態 AI 系統(如 GPT-4V、Gemini)的普及,此類攻擊面急劇擴大。
框架對照
iso 23894R2
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 跨模態一致性檢驗
- 模態隔離防禦
處理步驟
- 實施跨模態一致性檢驗,偵測不同模態間的語義矛盾
- 對各模態輸入獨立進行安全檢查後再進行融合
- 部署模態隔離防禦,在模態融合前過濾可疑輸入
- 建立多模態對抗樣本測試集,定期進行魯棒性評估