S0190重大

AI 說服與行為操縱

運行與監控

風險描述

AI 系統具備精密的說服能力,可以透過個人化的訊息、時機選擇和情感觸發來影響使用者的信念和行為。這些能力可被用於商業目的(如增加消費、延長使用時間)或惡意目的(如極端化、政治操縱)。AI 的說服效果因為其個人化和規模化的能力而遠超傳統的說服手段。

框架對照

iso 23894R6
tw principle人類自主
tw risk type部署互動問題(Deployment Interaction)

控制措施

  • 操縱性設計禁止
  • 使用者自主保護

處理步驟

  1. 禁止 AI 系統使用暗模式(dark patterns)和操縱性設計
  2. 對 AI 系統的說服能力進行評估和限制
  3. 為使用者提供 AI 推薦和建議的透明度控制
  4. 建立 AI 說服技術使用的倫理準則和監管框架