標註者偏見傳播
設計與開發
風險描述
數據標註人員將自身的文化偏見、語言偏好或認知偏差帶入標註結果。研究顯示,標註者的國籍、年齡、教育背景會系統性地影響對「仇恨言論」、「有害內容」等主觀標準的判斷。若標註團隊組成同質化(如全部為年輕男性工程師),偏見會被整個數據集繼承。
框架對照
iso 23894R3
tw principle公平與不歧視
tw principle問責
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 標註團隊多元化
- 標註指南標準化
處理步驟
- 確保標註團隊在性別、年齡、文化背景上的多元組成
- 制定詳細的標註指南(Annotation Guideline),含邊界案例示例
- 計算標註者間一致性指標(Inter-Annotator Agreement)
- 對爭議性標註案例進行專家仲裁並記錄決策理由