模型記憶化攻擊
Operation & Monitoring
Risk Description English translation pending
大型語言模型會逐字記憶訓練數據中的特定片段。依據相關研究顯示，研究人員已成功從 LLM 中提取出訓練數據中的真實姓名、電話號碼、電子郵件地址和實體地址。模型越大，記憶化越嚴重。攻擊者僅需提供部分上下文即可觸發模型「補完」敏感資訊。
Framework Mappings
iso 23894R1
owasp llmLLM06
tw principle隱私保護與數據治理
tw risk type技術設計缺陷（Technical Design Flaw）
Controls English translation pending
- 差分隱私訓練
- 記憶化偵測與緩解
Implementation Steps English translation pending
- 在訓練中加入差分隱私機制（DP-SGD），限制單一樣本的影響
- 使用 canary 技術定期測試模型是否記憶特定植入的假數據
- 實施推論時的輸出過濾，偵測並遮罩可能的 PII 輸出
- 在訓練數據前處理中去除 PII（姓名、電話、地址等）