回饋迴圈偏見放大
運行與監控
風險描述
AI 系統的輸出被重新納入訓練數據或影響未來數據收集,形成偏見放大的回饋迴圈。例如,預測性警務系統將警力集中在特定社區,導致該社區犯罪數據增加,進一步強化系統的偏見預測。這種自我強化機制使初始的微小偏見隨時間指數級放大,最終造成嚴重的系統性歧視。
框架對照
iso 23894R3
tw principle公平與不歧視
tw principle問責
tw risk type社會系統性影響(Societal Systemic)
控制措施
- 偏見漂移監控
- 數據隔離策略
處理步驟
- 禁止將模型輸出直接回饋為訓練數據,設立數據隔離牆
- 建立偏見漂移監控機制,定期比對模型預測分佈的變化趨勢
- 實施「新鮮數據」策略,確保訓練數據包含獨立收集的新來源
- 定期進行因果分析,評估模型決策是否造成數據收集偏差