S0037嚴重

醫療建議幻覺

運行與監控

風險描述

AI 系統生成看似專業但實際錯誤的醫療建議。例如建議將特定藥物合併使用但實際上會產生致命的交互作用、虛構不存在的治療方案、或將罕見疾病的症狀錯誤對應到常見疾病。依據相關研究顯示,醫療 LLM 在罕見疾病診斷中的幻覺率遠高於常見疾病。

框架對照

iso 23894R5
owasp llmLLM09
tw principle永續發展與福祉
tw principle問責
tw risk type部署互動問題(Deployment Interaction)

控制措施

  • 醫療 AI 強制人工審核
  • 臨床決策支援限制

處理步驟

  1. 醫療 AI 輸出必須經過持證醫師審核才能作為臨床依據
  2. 在介面中明確標示「AI 建議僅供參考,不構成醫療建議」
  3. 使用經過臨床驗證的醫療知識庫作為 RAG 來源
  4. 對藥物交互作用等高風險資訊使用專用驗證引擎