S0072中等

文字對抗樣本

運行與監控

風險描述

透過同義詞替換、字元置換(如將 o 換成 0)、添加不可見 Unicode 字元等方式,使文本分類器做出錯誤判斷。例如垃圾郵件過濾器可被「V1agra」、「Free」等變形詞繞過。情感分析模型可被同義詞替換從「正面」翻轉為「負面」而人類讀者完全感受不到差異。

框架對照

iso 23894R2
mitre atlasAML.T0015
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

控制措施

  • 文本正規化
  • 字元級異常偵測

處理步驟

  1. 在輸入前處理中實施 Unicode 正規化和字元清洗
  2. 使用字元級和詞級混合特徵的分類模型
  3. 對關鍵決策系統加入同義詞替換魯棒性訓練
  4. 建立已知對抗模式的黑名單即時更新機制