長上下文忠實度衰退
運行與監控
風險描述
LLM 在處理長上下文輸入時,對文件中間位置資訊的忠實度顯著下降(「迷失在中間」現象)。模型傾向於過度依賴上下文開頭和結尾的資訊,而忽略或歪曲中間部分的關鍵內容。在文件摘要、合約審查或長篇分析等任務中,可能遺漏或誤報重要條款和數據。
框架對照
iso 23894R5
tw principle資安與安全
tw principle透明與可解釋
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 分段處理策略
- 關鍵資訊位置最佳化
處理步驟
- 對長文件採用分段處理再彙整的策略,避免單一超長輸入
- 將最關鍵的資訊放置在上下文的開頭或結尾位置
- 實施輸出完整性檢查,比對摘要是否涵蓋所有文件章節
- 在關鍵場景中使用多次查詢交叉驗證,確保全面覆蓋