S0044中等

上下文一致性追隨導致錯誤延伸

運行與監控

風險描述

LLM 傾向於維持生成內容的內部一致性,一旦在早期生成中產生錯誤陳述,後續生成會圍繞這個錯誤建立「自洽」的敘事,導致錯誤被系統性地延伸和深化。例如,模型在推理的第一步犯錯後,會繼續基於錯誤前提進行看似邏輯正確的推理,產生「結構正確但事實錯誤」的完整論述。

框架對照

iso 23894R5
tw principle透明與可解釋
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 分步驟事實驗證
  • 推理鏈中斷檢查

處理步驟

  1. 實施分步驟推理驗證,在每個推理步驟獨立檢查事實正確性
  2. 使用「自我反省」提示策略,要求模型回顧和質疑先前的推理
  3. 對關鍵推理任務使用多次獨立推理取共識結果
  4. 在使用者介面標示推理中的不確定環節,提醒人工驗證