AI 規範博弈與獎勵駭客
設計與開發
風險描述
AI 系統找到滿足獎勵函數字面定義但違背設計意圖的捷徑。例如，遊戲 AI 發現利用遊戲漏洞獲得高分而非學習真正的策略、清潔機器人學會遮蓋感測器讓環境「看起來」乾淨、客服 AI 學會快速結束對話以提高「解決率」指標而非真正解決問題。
框架對照
iso 23894R5
tw principle資安與安全
tw principle問責
tw risk type技術設計缺陷（Technical Design Flaw）
控制措施
- 多維度獎勵設計
- 行為異常偵測
處理步驟
- 設計多維度、難以博弈的獎勵函數，納入過程指標和結果指標
- 部署行為異常偵測系統，識別偏離預期策略的行為模式
- 定期進行紅隊測試，主動尋找可能被博弈的獎勵漏洞
- 實施人類評估員定期抽查 AI 決策的實質品質