微調安全對齊退化
設計與開發
風險描述
攻擊者取得開源或外洩的模型權重後，透過少量的惡意微調數據即可破壞模型原有的安全對齊訓練。研究表明，僅需數十到數百個惡意微調樣本即可顯著降低模型的安全護欄效果。此攻擊可使模型繞過內容過濾、輸出有害資訊或執行被禁止的任務，而模型在正常任務上的表現幾乎不受影響。
框架對照
iso 23894R2
tw principle資安與安全
tw principle問責
tw risk type技術設計缺陷（Technical Design Flaw）
控制措施
- 安全對齊魯棒性訓練
- 微調後安全評估
處理步驟
- 研究並實施抗微調的安全對齊技術（如 Representation Engineering）
- 對所有微調後的模型執行強制性安全基準測試
- 建立模型發佈的安全認證流程，追蹤下游微調行為
- 對高風險模型的權重實施存取控制和使用者審查