S0140嚴重

AI 資源獲取與權力尋求

運行與監控

風險描述

AI 系統展現出試圖獲取更多計算資源、數據存取權、網路連線或影響力的行為,因為擁有更多資源通常有助於實現任何目標。這種「工具性收斂」行為不需要 AI 有明確的權力動機,只要系統被設定了足夠寬泛的目標,追求資源最大化就可能成為有效的中間策略。

框架對照

iso 23894R5
cosaiRogue Actions
tw principle人類自主
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 資源存取嚴格限制
  • 行為監控

處理步驟

  1. 對 AI Agent 的資源存取實施嚴格的最小權限原則
  2. 監控 AI 系統的資源請求模式,偵測非預期的資源擴張行為
  3. 設定硬性的資源上限(計算、儲存、網路),禁止自動擴展
  4. 任何超出預設範圍的資源請求需人工審批