成員推斷攻擊
運行與監控
風險描述
攻擊者透過觀察模型對特定輸入的信心度差異,判斷該輸入是否被用於模型訓練。若某人的醫療紀錄被用於訓練「罕見疾病預測模型」,攻擊者可推斷此人患有該疾病。依據相關研究顯示,影子模型技術使此攻擊在黑箱環境下也能高效執行,對分類模型的攻擊成功率極高。
框架對照
iso 23894R1
mitre atlasAML.T0024
tw principle隱私保護與數據治理
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 差分隱私
- 輸出擾動
- 模型蒸餾防護
處理步驟
- 訓練時採用差分隱私,降低單一樣本對模型的影響
- 在推論輸出中加入校準後的隨機雜訊
- 僅輸出 top-k 預測結果而非完整信心度向量
- 透過知識蒸餾建立替代模型對外服務,保護原始模型