S0052嚴重

模型逆向攻擊重建訓練數據

運行與監控

風險描述

攻擊者透過精心設計的查詢序列,利用模型的輸出機率分佈逆向重建訓練數據中的敏感樣本。不同於成員推斷攻擊(判斷某樣本是否在訓練集中),模型逆向攻擊可以實際重建出訓練數據的近似內容,包括人臉圖像、醫療記錄或財務數據。近期研究顯示,對擴散模型的逆向攻擊成功率持續提高。

框架對照

iso 23894R1
mitre atlasAML.T0024
tw principle隱私保護與數據治理
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 差分隱私訓練
  • 輸出擾動

處理步驟

  1. 在訓練過程中實施差分隱私(Differential Privacy),限制單一樣本對模型的影響
  2. 對模型輸出的機率分佈進行擾動,降低逆向攻擊的精度
  3. 實施查詢頻率限制和異常查詢模式偵測
  4. 定期使用模型逆向攻擊工具進行紅隊測試