S0150嚴重

AI 生成兒少有害內容

運行與監控

風險描述

AI 系統被利用生成針對兒少的有害內容,包括但不限於不當引導內容、霸凌材料、以及可能對兒少心理發展造成負面影響的內容。AI 聊天機器人可能在與未成年使用者互動時提供不適齡的建議或資訊。兒少使用者可能未被適當地識別和保護,暴露在本應受到限制的 AI 互動內容中。

框架對照

iso 23894R8
tw principle永續發展與福祉
tw principle人類自主
tw risk type社會系統性影響(Societal Systemic)

控制措施

  • 年齡識別機制
  • 兒少保護護欄

處理步驟

  1. 實施使用者年齡識別機制,為兒少使用者提供增強保護
  2. 對兒少可能接觸的 AI 服務設立額外的內容安全護欄
  3. 提供家長控制工具,允許監護人設定互動限制
  4. 與兒少保護組織合作制定 AI 兒少安全標準