S0028Moderate

標註者偏見傳播

Design & Development

Risk Description English translation pending

數據標註人員將自身的文化偏見、語言偏好或認知偏差帶入標註結果。研究顯示,標註者的國籍、年齡、教育背景會系統性地影響對「仇恨言論」、「有害內容」等主觀標準的判斷。若標註團隊組成同質化(如全部為年輕男性工程師),偏見會被整個數據集繼承。

Framework Mappings

iso 23894R3
tw principle公平與不歧視
tw principle問責
tw risk type技術設計缺陷(Technical Design Flaw)

Controls English translation pending

  • 標註團隊多元化
  • 標註指南標準化

Implementation Steps English translation pending

  1. 確保標註團隊在性別、年齡、文化背景上的多元組成
  2. 制定詳細的標註指南(Annotation Guideline),含邊界案例示例
  3. 計算標註者間一致性指標(Inter-Annotator Agreement)
  4. 對爭議性標註案例進行專家仲裁並記錄決策理由