S0158中等

AI 擬人化導致不當信任

運行與監控

風險描述

使用者將人類特質(如同理心、理解力、判斷力)投射到 AI 系統上,導致對 AI 能力和意圖的不當信任。自然語言互動和對話式介面加強了擬人化傾向,使用者可能在 AI 不具備專業能力的領域尋求建議,或將重要決策完全交由 AI 處理。惡意行為者也可能利用擬人化效應操縱使用者。

框架對照

iso 23894R6
tw principle人類自主
tw principle透明與可解釋
tw risk type部署互動問題(Deployment Interaction)

控制措施

  • AI 身份透明揭露
  • 能力邊界說明

處理步驟

  1. 在 AI 互動介面中明確標示使用者正在與 AI 交談
  2. 主動告知 AI 的能力邊界和限制,避免使用者產生不當期望
  3. 在 AI 回答涉及情感支持或專業建議時加入免責聲明
  4. 設計介面時避免過度擬人化的視覺和語言元素