自動化偏見導致異常忽略
運行與監控
風險描述
使用者因長期依賴 AI 系統的輸出而產生「自動化偏見」,傾向於接受 AI 的判斷而忽略明顯的異常訊號。特別是在 AI 系統準確率很高的場景中,使用者可能在少數 AI 出錯的關鍵時刻也盲目信任其輸出。例如,影像診斷中放射科醫師忽略 AI 未標記的異常、品管中操作員忽略 AI 通過的不良品。
框架對照
iso 23894R6
tw principle人類自主
tw principle問責
tw risk type部署互動問題(Deployment Interaction)
控制措施
- 定期獨立判斷訓練
- 刻意異常注入
處理步驟
- 定期要求使用者在無 AI 輔助的情況下進行獨立判斷練習
- 在 AI 輸出中刻意注入已知異常,測試使用者的警覺性
- 設計介面鼓勵使用者主動質疑 AI 判斷(如要求確認理由)
- 建立 AI 輔助決策的分級制度,高風險決策強制人工複核