RLHF 人類偏好數據操縱

風險描述

在人類反饋強化學習（RLHF）過程中，惡意標註者系統性地操縱偏好排序，使模型學習到偏差的價值觀或有害的行為模式。例如，標註者可能偏好具有欺騙性、操縱性或有偏見的回答，導致模型的對齊訓練被污染。此攻擊特別危險因為 RLHF 直接塑造模型的行為準則。