S0066Critical

微調數據集投毒

Design & Development

Risk Description English translation pending

在模型微調階段注入對齊性破壞的數據(例如包含有害指令遵循對的樣本),使已完成安全對齊的基礎模型在微調後喪失安全護欄。依據相關研究顯示,僅需少量精心設計的有害樣本即可繞過主流 LLM 的安全機制,使其回應任意有害請求。

Framework Mappings

iso 23894R2
owasp llmLLM03
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

Controls English translation pending

  • 微調數據安全審查
  • 對齊性保持監控

Implementation Steps English translation pending

  1. 在微調前對數據集進行自動化安全掃描(使用分類器偵測有害內容)
  2. 微調後執行完整的安全基準測試(red teaming)
  3. 實施漸進式微調,每輪後驗證安全行為是否維持
  4. 保留基礎模型快照,發現安全退化時可即時回滾