S0026重大

歷史數據中的社會偏見

設計與開發

風險描述

訓練數據反映了歷史上長期存在的社會偏見。Amazon 的 AI 招聘系統曾因訓練數據中以男性主導的履歷為主,系統性地降低包含「女性」相關詞彙的履歷評分,最終被迫停用。類似的偏見存在於貸款審批、保險定價、司法量刑等領域的歷史數據中。

框架對照

iso 23894R3
nist ai rmfMAP 2.3
tw principle公平與不歧視
tw principle人類自主
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 數據集偏見審計
  • 公平性指標監測

處理步驟

  1. 在訓練前進行數據集偏見審計(統計各保護屬性群體的分佈差異)
  2. 使用去偏見技術:重新採樣(oversampling/undersampling)或重新加權
  3. 定義並追蹤多維度公平性指標(DP、EO、PP)
  4. 建立定期偏見重新評估機制(至少每季一次)