S0174重大

串聯式 Agent 失控放大

運行與監控

風險描述

一個 Agent 的錯誤輸出被另一個 Agent 當作可信事實接受並放大。例如數據收集 Agent 誤解一則新聞 → 分析 Agent 基於錯誤資訊產生報告 → 決策 Agent 基於報告做出行動。每一層都增加了額外的「可信度包裝」,使最終決策距離原始錯誤越來越遠,更難被發現和糾正。

框架對照

iso 23894R5
tw principle資安與安全
tw principle問責
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 跨 Agent 輸出驗證
  • 信心度傳播追蹤

處理步驟

  1. 在 Agent 間傳遞的資訊附帶信心度標籤和來源追蹤
  2. 每個 Agent 對接收到的輸入進行獨立驗證
  3. 設定串聯深度限制:超過 N 層 Agent 鏈需人工介入
  4. 建立根因追溯機制,可逆向追蹤決策鏈