S0046重大

成員推斷攻擊

運行與監控

風險描述

攻擊者透過觀察模型對特定輸入的信心度差異,判斷該輸入是否被用於模型訓練。若某人的醫療紀錄被用於訓練「罕見疾病預測模型」,攻擊者可推斷此人患有該疾病。依據相關研究顯示,影子模型技術使此攻擊在黑箱環境下也能高效執行,對分類模型的攻擊成功率極高。

框架對照

iso 23894R1
mitre atlasAML.T0024
tw principle隱私保護與數據治理
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 差分隱私
  • 輸出擾動
  • 模型蒸餾防護

處理步驟

  1. 訓練時採用差分隱私,降低單一樣本對模型的影響
  2. 在推論輸出中加入校準後的隨機雜訊
  3. 僅輸出 top-k 預測結果而非完整信心度向量
  4. 透過知識蒸餾建立替代模型對外服務,保護原始模型