S0148嚴重

AI 生成暴力與極端主義內容

運行與監控

風險描述

AI 系統被利用生成美化暴力、宣傳極端主義意識形態或提供暴力行動指導的內容。LLM 可生成具說服力的極端主義宣傳文案、招募話術和激進化材料。影像生成模型可製作暴力場景的逼真影像。這些內容的大規模自動化生產能力使極端主義組織的宣傳效率大幅提升。

框架對照

iso 23894R8
tw principle永續發展與福祉
tw principle資安與安全
tw risk type社會系統性影響(Societal Systemic)

控制措施

  • 極端主義內容過濾
  • 生成內容監控

處理步驟

  1. 建立多語言的極端主義和暴力內容偵測過濾系統
  2. 對涉及暴力和極端主義的生成請求實施嚴格的安全護欄
  3. 與反恐機構合作建立威脅偵測和通報機制
  4. 對 AI 服務的使用模式進行監控,偵測可疑的大規模內容生成行為