AI 生成有害教學內容

風險描述

AI 系統被誘導生成危險物質製造方法、網路攻擊教學或其他有害知識的詳細步驟。儘管主流 LLM 都設有安全護欄，但透過 jailbreak 或使用未對齊的開源模型，仍可獲取此類內容。開源 AI 模型的普及使得生成有害內容的門檻大幅降低。