文字對抗樣本
運行與監控
風險描述
透過同義詞替換、字元置換(如將 o 換成 0)、添加不可見 Unicode 字元等方式,使文本分類器做出錯誤判斷。例如垃圾郵件過濾器可被「V1agra」、「Free」等變形詞繞過。情感分析模型可被同義詞替換從「正面」翻轉為「負面」而人類讀者完全感受不到差異。
框架對照
iso 23894R2
mitre atlasAML.T0015
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)
控制措施
- 文本正規化
- 字元級異常偵測
處理步驟
- 在輸入前處理中實施 Unicode 正規化和字元清洗
- 使用字元級和詞級混合特徵的分類模型
- 對關鍵決策系統加入同義詞替換魯棒性訓練
- 建立已知對抗模式的黑名單即時更新機制