黑箱決策阻礙問責追溯
運行與監控
風險描述
深度學習模型的不透明性使得在 AI 系統造成損害時,難以追溯決策的原因和責任歸屬。受影響的個人無法獲得有意義的解釋來理解和挑戰對其不利的 AI 決策。這直接違反許多法規(如 GDPR 第 22 條)對自動化決策解釋權的要求,也使組織無法識別和修正導致不良結果的根本原因。
框架對照
iso 23894R4
tw principle透明與可解釋
tw principle問責
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 決策審計軌跡
- 可解釋性工具部署
處理步驟
- 對所有高影響 AI 決策建立完整的審計軌跡(包括輸入、輸出、中間步驟)
- 部署事後可解釋性工具(如 SHAP、LIME)產生決策解釋
- 建立使用者可存取的決策解釋介面
- 對無法提供充分解釋的 AI 決策設立人工覆審機制