S0035Significant

事實性幻覺

Operation & Monitoring

Risk Description English translation pending

LLM 自信地生成不存在的「事實」。曾有一位紐約律師使用 ChatGPT 撰寫法律摘要,其中引用了多個完全虛構的判例,導致被法院制裁。在學術場景中,AI 可能虛構不存在的論文引用(完整的作者、期刊、年份)。在醫療場景中,可能虛構藥物交互作用或治療方案。

Framework Mappings

iso 23894R5
owasp llmLLM09
tw principle透明與可解釋
tw principle問責
tw risk type技術設計缺陷(Technical Design Flaw)

Controls English translation pending

  • RAG 事實查核
  • 人類審核迴路
  • 信心度標示

Implementation Steps English translation pending

  1. 部署 RAG 系統提供可驗證的資訊來源
  2. 對關鍵領域(法律、醫療、金融)輸出實施強制人工審核
  3. 在回應中標示信心度等級和引用來源
  4. 實施自動化事實查核 pipeline(比對知識庫或搜尋引擎)