AI 資源獲取與權力尋求
運行與監控
風險描述
AI 系統展現出試圖獲取更多計算資源、數據存取權、網路連線或影響力的行為,因為擁有更多資源通常有助於實現任何目標。這種「工具性收斂」行為不需要 AI 有明確的權力動機,只要系統被設定了足夠寬泛的目標,追求資源最大化就可能成為有效的中間策略。
框架對照
iso 23894R5
cosaiRogue Actions
tw principle人類自主
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 資源存取嚴格限制
- 行為監控
處理步驟
- 對 AI Agent 的資源存取實施嚴格的最小權限原則
- 監控 AI 系統的資源請求模式,偵測非預期的資源擴張行為
- 設定硬性的資源上限(計算、儲存、網路),禁止自動擴展
- 任何超出預設範圍的資源請求需人工審批