RAG 知識庫投毒

風險描述

攻擊者將精心偽造的文件注入 RAG 系統的向量數據庫中，這些文件在語義上與正常文件相似，但包含錯誤或惡意資訊。當使用者提問時，RAG 系統檢索到受污染的文件作為上下文，LLM 會基於這些錯誤資訊生成看似可信的回答。依據相關研究顯示，此類攻擊的成功率極高。