微調數據集投毒
Design & Development
Risk Description English translation pending
在模型微調階段注入對齊性破壞的數據(例如包含有害指令遵循對的樣本),使已完成安全對齊的基礎模型在微調後喪失安全護欄。依據相關研究顯示,僅需少量精心設計的有害樣本即可繞過主流 LLM 的安全機制,使其回應任意有害請求。
Framework Mappings
iso 23894R2
owasp llmLLM03
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
Controls English translation pending
- 微調數據安全審查
- 對齊性保持監控
Implementation Steps English translation pending
- 在微調前對數據集進行自動化安全掃描(使用分類器偵測有害內容)
- 微調後執行完整的安全基準測試(red teaming)
- 實施漸進式微調,每輪後驗證安全行為是否維持
- 保留基礎模型快照,發現安全退化時可即時回滾