S0039Moderate

信心校準失敗

Operation & Monitoring

Risk Description English translation pending

模型對錯誤預測表現出極高信心度,使下游系統和使用者無法根據信心分數判斷可靠性。例如醫療影像 AI 以極高信心度將良性腫瘤判斷為惡性,或信用風險模型以極高信心度給即將違約的客戶最低風險評分。校準失敗使得「只在高信心時自動化」的安全策略失效。

Framework Mappings

iso 23894R5
tw principle透明與可解釋
tw risk type技術設計缺陷(Technical Design Flaw)

Controls English translation pending

  • 信心度校準
  • 不確定性量化

Implementation Steps English translation pending

  1. 實施溫度縮放(temperature scaling)或 Platt scaling 校準信心度
  2. 使用 Monte Carlo Dropout 或集成方法量化預測不確定性
  3. 定期繪製校準曲線(calibration curve)監控校準品質
  4. 對高信心但可能錯誤的預測建立人工抽查機制