SemiAnalysis：TTFT被高估？大模型推理瓶頸在於權衡交互性與吞吐

SemiAnalysis發文指出，大模型推理中常被引用的「首token延遲」（TTFT, time-to-first-token）可能被市場過度關注，推理系統的核心維度並非「越快越好」，而是在「單用戶交互速度（tok/s/user）」與「整體吞吐效率（tok/s/GPU）」之間的權衡。在多數場景中，TTFT對體驗影響有限，但生成階段的Token速度才是關鍵變量。 SemiAnalysis總結稱，僅約10%–20%的推理任務真正受限於延遲，其余大部分場景更依賴吞吐與成本效率優化。