信心校準失敗
運行與監控
風險描述
模型對錯誤預測表現出極高信心度，使下游系統和使用者無法根據信心分數判斷可靠性。例如醫療影像 AI 以極高信心度將良性腫瘤判斷為惡性，或信用風險模型以極高信心度給即將違約的客戶最低風險評分。校準失敗使得「只在高信心時自動化」的安全策略失效。
框架對照
iso 23894R5
tw principle透明與可解釋
tw risk type技術設計缺陷（Technical Design Flaw）
控制措施
- 信心度校準
- 不確定性量化
處理步驟
- 實施溫度縮放（temperature scaling）或 Platt scaling 校準信心度
- 使用 Monte Carlo Dropout 或集成方法量化預測不確定性
- 定期繪製校準曲線（calibration curve）監控校準品質
- 對高信心但可能錯誤的預測建立人工抽查機制