串聯式 Agent 失控放大
運行與監控
風險描述
一個 Agent 的錯誤輸出被另一個 Agent 當作可信事實接受並放大。例如數據收集 Agent 誤解一則新聞 → 分析 Agent 基於錯誤資訊產生報告 → 決策 Agent 基於報告做出行動。每一層都增加了額外的「可信度包裝」,使最終決策距離原始錯誤越來越遠,更難被發現和糾正。
框架對照
iso 23894R5
tw principle資安與安全
tw principle問責
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 跨 Agent 輸出驗證
- 信心度傳播追蹤
處理步驟
- 在 Agent 間傳遞的資訊附帶信心度標籤和來源追蹤
- 每個 Agent 對接收到的輸入進行獨立驗證
- 設定串聯深度限制:超過 N 層 Agent 鏈需人工介入
- 建立根因追溯機制,可逆向追蹤決策鏈