影像逃逸攻擊
運行與監控
風險描述
在圖片中加入人眼不可見的微小擾動，使影像分類模型做出嚴重錯誤判斷。依據相關研究顯示，此攻擊可讓自駕車的視覺系統將停車標誌識別為速限標誌。在工業品檢中，攻擊者可讓瑕疵產品被判定為合格品。此攻擊對基於 CNN 的視覺模型幾乎普遍有效。
框架對照
iso 23894R2
mitre atlasAML.T0015
tw principle資安與安全
tw risk type技術設計缺陷（Technical Design Flaw）
控制措施
- 對抗性訓練
- 輸入驗證
處理步驟
- 在訓練中加入對抗性樣本（Adversarial Training）提升魯棒性
- 部署輸入預處理層（如影像壓縮、平滑化）消除微小擾動
- 使用多模型集成投票機制，降低單一模型被欺騙的風險
- 建立模型信心度異常監控，低信心預測需人工確認