分散式訓練梯度傳輸污染
設計與開發
風險描述
在分散式訓練環境中,攻擊者透過入侵某個訓練節點,在梯度傳輸過程中注入惡意梯度更新。由於分散式系統依賴多個節點間的梯度聚合,污染的梯度會在聚合時影響全局模型參數。此攻擊難以偵測,因為單一節點的異常梯度可能被視為正常的統計波動。
框架對照
iso 23894R2
cosaiData Poisoning
mitre atlasAML.T0020
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 拜占庭容錯聚合
- 梯度異常偵測
處理步驟
- 採用拜占庭容錯聚合演算法(如 Krum、Trimmed Mean)替代簡單平均
- 對每個節點的梯度更新設定幅度上限(gradient clipping)
- 部署梯度統計監控系統,偵測偏離正常分佈的異常更新
- 實施節點身份驗證和安全通訊通道