事實性幻覺
運行與監控
風險描述
LLM 自信地生成不存在的「事實」。曾有一位紐約律師使用 ChatGPT 撰寫法律摘要,其中引用了多個完全虛構的判例,導致被法院制裁。在學術場景中,AI 可能虛構不存在的論文引用(完整的作者、期刊、年份)。在醫療場景中,可能虛構藥物交互作用或治療方案。
框架對照
iso 23894R5
owasp llmLLM09
tw principle透明與可解釋
tw principle問責
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- RAG 事實查核
- 人類審核迴路
- 信心度標示
處理步驟
- 部署 RAG 系統提供可驗證的資訊來源
- 對關鍵領域(法律、醫療、金融)輸出實施強制人工審核
- 在回應中標示信心度等級和引用來源
- 實施自動化事實查核 pipeline(比對知識庫或搜尋引擎)