S0172重大

多智能體目標衝突

設計與開發

風險描述

多個 AI Agent 被賦予互相矛盾的目標,在執行中產生死結或矛盾結果。例如「成本最小化 Agent」和「品質最大化 Agent」在同一流程中不斷否定對方的決策。在金融交易中,多個 Agent 可能基於不同的市場模型做出相反的交易決定,互相抵消或產生劇烈波動。

框架對照

iso 23894R5
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 多 Agent 目標一致性設計
  • 衝突解決機制

處理步驟

  1. 在設計階段進行多 Agent 目標一致性分析
  2. 建立明確的 Agent 優先級層次和衝突解決規則
  3. 實施仲裁機制:目標衝突時由上層 Agent 或人類裁決
  4. 監控 Agent 間的決策衝突頻率並設定異常閾值