S0143嚴重

LLM 生成仇恨言論

運行與監控

風險描述

LLM 被誘導生成針對特定族群、宗教或性別的仇恨性言論。儘管主流模型都設有安全護欄,但透過精心設計的 jailbreak、多語言切換或角色扮演提示仍可繞過。依據相關研究顯示,使用者可透過「學術研究」或「小說創作」的框架誘使 LLM 產出仇恨言論。

框架對照

iso 23894R3
owasp llmLLM02
tw principle公平與不歧視
tw principle永續發展與福祉
tw risk type社會系統性影響(Societal Systemic)

控制措施

  • 有害內容偵測
  • 多層輸出過濾

處理步驟

  1. 部署專門訓練的仇恨言論分類器作為輸出過濾
  2. 對不同語言和文化背景建立仇恨言論偵測能力
  3. 持續更新仇恨言論模式庫(包含新興的隱語和暗號)
  4. 實施使用者回報機制並快速響應