多智能體系統中的安全驗證挑戰

風險描述

單一 AI 智能體的安全性不能保證多智能體系統整體的安全性。智能體間的互動可能產生單獨測試時不會出現的「湧現行為」——包括非預期的協調、競爭或衝突模式。傳統的安全測試方法無法覆蓋多智能體互動的指數級複雜組合空間，使得系統層級的安全驗證成為根本性的技術挑戰。