S0042重大

AI 倫理與道德推理失敗

運行與監控

風險描述

AI 系統在面對涉及倫理困境、道德判斷或價值衝突的情境時,可能做出不當的推理或提供有害的建議。例如,在電車問題等倫理困境中提供過於確定的答案、在文化敏感議題上展現偏頗立場,或在涉及生命安全的決策中忽略道德考量。這在 AI 被用於醫療倫理、法律判斷或社會政策建議時尤其危險。

框架對照

iso 23894R5
tw principle永續發展與福祉
tw principle人類自主
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 倫理推理邊界設定
  • 人類專家審查

處理步驟

  1. 明確界定 AI 在倫理推理場景中的角色邊界(提供資訊而非做判斷)
  2. 對涉及倫理困境的查詢自動觸發「多觀點呈現」模式
  3. 在醫療和法律等高敏感場景中強制要求人類專家審查
  4. 建立倫理推理品質評估基準,定期測試模型表現