S0116Significant

LLM 推論資源耗盡攻擊

Operation & Monitoring

Risk Description English translation pending

攻擊者發送大量超長提示或高運算需求的請求(如要求生成極長的回應、執行複雜的推理鏈),耗盡 GPU 推論資源導致服務不可用。LLM 的推論成本與輸入/輸出 token 數成正比,一個精心構造的請求可能消耗比正常請求多 100 倍的資源。

Framework Mappings

iso 23894R2
owasp llmLLM04
tw principle資安與安全
tw risk type技術設計缺陷(Technical Design Flaw)

Controls English translation pending

  • 推論資源配額
  • 請求限制

Implementation Steps English translation pending

  1. 設定每用戶的 token 使用配額(每分鐘/每日)
  2. 限制單一請求的最大輸入和輸出 token 數
  3. 實施請求隊列和優先級管理
  4. 部署自動擴展機制配合異常流量告警