推論效率低導致能源浪費

風險描述

未經優化的模型部署使用過大的運算資源進行推論。例如使用 GPT-4 級別的模型回答只需要 GPT-3.5 等級能力的問題、未實施模型量化導致使用兩倍的記憶體和運算、或未使用 KV cache 導致每次推論重複計算。這些低效部署累積造成大量不必要的能源消耗。