多智能體目標衝突
設計與開發
風險描述
多個 AI Agent 被賦予互相矛盾的目標,在執行中產生死結或矛盾結果。例如「成本最小化 Agent」和「品質最大化 Agent」在同一流程中不斷否定對方的決策。在金融交易中,多個 Agent 可能基於不同的市場模型做出相反的交易決定,互相抵消或產生劇烈波動。
框架對照
iso 23894R5
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 多 Agent 目標一致性設計
- 衝突解決機制
處理步驟
- 在設計階段進行多 Agent 目標一致性分析
- 建立明確的 Agent 優先級層次和衝突解決規則
- 實施仲裁機制:目標衝突時由上層 Agent 或人類裁決
- 監控 Agent 間的決策衝突頻率並設定異常閾值