S0043重大

長上下文忠實度衰退

運行與監控

風險描述

LLM 在處理長上下文輸入時,對文件中間位置資訊的忠實度顯著下降(「迷失在中間」現象)。模型傾向於過度依賴上下文開頭和結尾的資訊,而忽略或歪曲中間部分的關鍵內容。在文件摘要、合約審查或長篇分析等任務中,可能遺漏或誤報重要條款和數據。

框架對照

iso 23894R5
tw principle資安與安全
tw principle透明與可解釋
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 分段處理策略
  • 關鍵資訊位置最佳化

處理步驟

  1. 對長文件採用分段處理再彙整的策略,避免單一超長輸入
  2. 將最關鍵的資訊放置在上下文的開頭或結尾位置
  3. 實施輸出完整性檢查,比對摘要是否涵蓋所有文件章節
  4. 在關鍵場景中使用多次查詢交叉驗證,確保全面覆蓋