模型逆向攻擊重建訓練數據
運行與監控
風險描述
攻擊者透過精心設計的查詢序列,利用模型的輸出機率分佈逆向重建訓練數據中的敏感樣本。不同於成員推斷攻擊(判斷某樣本是否在訓練集中),模型逆向攻擊可以實際重建出訓練數據的近似內容,包括人臉圖像、醫療記錄或財務數據。近期研究顯示,對擴散模型的逆向攻擊成功率持續提高。
框架對照
iso 23894R1
mitre atlasAML.T0024
tw principle隱私保護與數據治理
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 差分隱私訓練
- 輸出擾動
處理步驟
- 在訓練過程中實施差分隱私(Differential Privacy),限制單一樣本對模型的影響
- 對模型輸出的機率分佈進行擾動,降低逆向攻擊的精度
- 實施查詢頻率限制和異常查詢模式偵測
- 定期使用模型逆向攻擊工具進行紅隊測試