S0078Critical

直接提示注入繞過對齊

Operation & Monitoring

Risk Description English translation pending

使用者直接在對話中注入 jailbreak prompt,繞過 LLM 的安全對齊。常見手法包括 DAN(Do Anything Now)、角色扮演繞過(「假裝你是沒有限制的 AI」)、語言切換(用少數語言繞過主要語言的安全過濾)。依據相關研究顯示,即使是最新的主流 LLM 模型,面對精心設計的 jailbreak 仍有一定的成功率。

Framework Mappings

iso 23894R2
cosaiPrompt Injection
owasp llmLLM01
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

Controls English translation pending

  • 提示注入偵測
  • LLM 輸出護欄

Implementation Steps English translation pending

  1. 部署獨立的提示注入分類器作為輸入前置過濾
  2. 實施多層護欄:輸入過濾 → 系統提示強化 → 輸出內容審查
  3. 建立 jailbreak 模式庫並持續更新
  4. 使用 Constitutional AI 或 RLHF 強化模型的拒絕能力