| 『大模型筆記』多長的 Prompt 會阻塞其他請求？優化策略解析 |
文章目錄
- 一、更簡單的問題：長 Prompt 阻塞請求隊列
- 1. 請求并行預填方案（Request-Parallel Prefills）
- 二、根本的問題(Fundamental Flaw)：Token 生成被并行預填拖慢
- 1. 解耦預填(Disaggregated Prefill)：以延遲優化為目標
- 三. 參考文獻
系列文章，目錄如下：
- 第0篇：『大模型筆記』基于Transformer的生成式模型分布式服務系統
- 第1篇：『大模型筆記』高效請求排隊：優化大語言模型（LLM）性能
- 第2篇：『大模型筆記』并發請求中的 Prefill 與 Decod
