上下文一致性追隨導致錯誤延伸
運行與監控
風險描述
LLM 傾向於維持生成內容的內部一致性,一旦在早期生成中產生錯誤陳述,後續生成會圍繞這個錯誤建立「自洽」的敘事,導致錯誤被系統性地延伸和深化。例如,模型在推理的第一步犯錯後,會繼續基於錯誤前提進行看似邏輯正確的推理,產生「結構正確但事實錯誤」的完整論述。
框架對照
iso 23894R5
tw principle透明與可解釋
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 分步驟事實驗證
- 推理鏈中斷檢查
處理步驟
- 實施分步驟推理驗證,在每個推理步驟獨立檢查事實正確性
- 使用「自我反省」提示策略,要求模型回顧和質疑先前的推理
- 對關鍵推理任務使用多次獨立推理取共識結果
- 在使用者介面標示推理中的不確定環節,提醒人工驗證