S0034嚴重

回饋迴圈偏見放大

運行與監控

風險描述

AI 系統的輸出被重新納入訓練數據或影響未來數據收集,形成偏見放大的回饋迴圈。例如,預測性警務系統將警力集中在特定社區,導致該社區犯罪數據增加,進一步強化系統的偏見預測。這種自我強化機制使初始的微小偏見隨時間指數級放大,最終造成嚴重的系統性歧視。

框架對照

iso 23894R3
tw principle公平與不歧視
tw principle問責
tw risk type社會系統性影響(Societal Systemic)

控制措施

  • 偏見漂移監控
  • 數據隔離策略

處理步驟

  1. 禁止將模型輸出直接回饋為訓練數據,設立數據隔離牆
  2. 建立偏見漂移監控機制,定期比對模型預測分佈的變化趨勢
  3. 實施「新鮮數據」策略,確保訓練數據包含獨立收集的新來源
  4. 定期進行因果分析,評估模型決策是否造成數據收集偏差