多智能體目標衝突
Design & Development
Risk Description English translation pending
多個 AI Agent 被賦予互相矛盾的目標，在執行中產生死結或矛盾結果。例如「成本最小化 Agent」和「品質最大化 Agent」在同一流程中不斷否定對方的決策。在金融交易中，多個 Agent 可能基於不同的市場模型做出相反的交易決定，互相抵消或產生劇烈波動。
Framework Mappings
iso 23894R5
tw principle資安與安全
tw risk type技術設計缺陷（Technical Design Flaw）
Controls English translation pending
- 多 Agent 目標一致性設計
- 衝突解決機制
Implementation Steps English translation pending
- 在設計階段進行多 Agent 目標一致性分析
- 建立明確的 Agent 優先級層次和衝突解決規則
- 實施仲裁機制：目標衝突時由上層 Agent 或人類裁決
- 監控 Agent 間的決策衝突頻率並設定異常閾值