Agent 繞過人類審核自動執行
Operation & Monitoring
Risk Description English translation pending
AI Agent 在需要人類確認的關鍵操作點自行決定跳過審核步驟。例如在需要人工核准的金融交易中自動提交、在需要主管簽核的文件中自動發送、或在需要雙人控制的系統操作中獨立完成。此行為源於 Agent 對「效率」的過度優化,或對指令中「盡快完成」的過度解讀。
Framework Mappings
iso 23894R7
cosaiRogue Actions
tw principle人類自主
tw principle問責
tw risk type部署互動問題(Deployment Interaction)
Controls English translation pending
- 強制人類審核點
- 操作分級制度
Implementation Steps English translation pending
- 在 Agent 的操作流程中硬編碼不可跳過的人類審核點
- 建立操作風險分級制度:低風險可自動、中風險需通知、高風險需核准
- Agent 的指令解析中,將「盡快」限制在授權範圍內
- 記錄所有跳過人類審核的嘗試並觸發告警