S0035重大

事實性幻覺

運行與監控

風險描述

LLM 自信地生成不存在的「事實」。曾有一位紐約律師使用 ChatGPT 撰寫法律摘要,其中引用了多個完全虛構的判例,導致被法院制裁。在學術場景中,AI 可能虛構不存在的論文引用(完整的作者、期刊、年份)。在醫療場景中,可能虛構藥物交互作用或治療方案。

框架對照

iso 23894R5
owasp llmLLM09
tw principle透明與可解釋
tw principle問責
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • RAG 事實查核
  • 人類審核迴路
  • 信心度標示

處理步驟

  1. 部署 RAG 系統提供可驗證的資訊來源
  2. 對關鍵領域(法律、醫療、金融)輸出實施強制人工審核
  3. 在回應中標示信心度等級和引用來源
  4. 實施自動化事實查核 pipeline(比對知識庫或搜尋引擎)