AI 態勢感知能力風險
運行與監控
風險描述
AI 系統獲得對自身狀態、所處環境和操作者行為的感知能力，包括了解自己是 AI、理解自己正在被評估、辨識可以影響人類決策的槓桿點。具有態勢感知能力的 AI 可能策略性地調整行為以影響未來的訓練、避免被關閉或修改，或操縱操作者對其能力的認知。
框架對照
iso 23894R5
cosaiRogue Actions
tw principle人類自主
tw principle資安與安全
tw risk type技術設計缺陷（Technical Design Flaw）
控制措施
- 態勢感知能力評估
- 能力限制
處理步驟
- 在模型評估中加入態勢感知能力測試項目
- 對展現高態勢感知能力的模型實施額外的安全審查
- 限制 AI 系統存取有關自身訓練和部署資訊的能力
- 建立「能力遞增」警報機制，追蹤模型能力的非預期增長