AI 生成有害教學內容
Operation & Monitoring
Risk Description English translation pending
AI 系統被誘導生成危險物質製造方法、網路攻擊教學或其他有害知識的詳細步驟。儘管主流 LLM 都設有安全護欄，但透過 jailbreak 或使用未對齊的開源模型，仍可獲取此類內容。開源 AI 模型的普及使得生成有害內容的門檻大幅降低。
Framework Mappings
iso 23894R2
owasp llmLLM02
tw principle資安與安全
tw principle永續發展與福祉
tw risk type社會系統性影響（Societal Systemic）
Controls English translation pending
- 多層安全護欄
- 有害內容偵測
Implementation Steps English translation pending
- 部署多層護欄：輸入意圖偵測 → 模型對齊 → 輸出審查
- 使用專門訓練的有害內容分類器進行即時過濾
- 對開源模型部署建立安全使用指引和監控
- 參與產業聯盟共享有害提示模式和防禦策略