分散式推論節點串連故障
運行與監控
風險描述
分散式 AI 推論架構中，單一節點的故障透過負載平衡器引發連鎖反應，導致整個推論叢集崩潰。當一個節點失效，其負載被轉移到剩餘節點，但增加的負載可能導致更多節點超載故障。在高峰流量期間，此效應可能在數分鐘內使整個服務不可用。
框架對照
iso 23894R5
tw principle資安與安全
tw risk type部署互動問題（Deployment Interaction）
控制措施
- 斷路器模式
- 優雅降級
- 容量規劃
處理步驟
- 實施斷路器模式（Circuit Breaker）防止故障傳播
- 為每個節點設定請求佇列上限和拒絕閾值
- 設計優雅降級策略（如切換到較小模型或快取回應）
- 進行容量規劃確保叢集在失去 N 個節點後仍可服務