目錄

第一部分：大型語言模型（LLM）推理顯存占用的核心原理

1.1 顯存占用的主要構成部分

1.2 影響顯存占用的關鍵因素

1.2.1 模型架構：MoE vs. 稠密模型

1.2.2 上下文長度與并發數

1.2.3 部署方式與推理框架

1.2.4 硬件能力

第二部分：顯存占用的精確計算方法

2.1 模型參數顯存計算

2.2 KV緩存顯存計算

2.3 激活值與其他開銷估算

第三部分：案例分析：Qwen3 235B 與 Seed-36B 顯存占用估算

3.1 模型架構參數

3.2 估算前提與假設

3.3 顯存占用計算與分析

3.3.1 靜態模型參數顯存

3.3.2 動態KV緩存顯存

3.3.3 綜合顯存需求估算表

第四部分：結論

---

隨著大型語言模型（LLM）的參數規模和應用場景持續擴大，精確評估其在實際部署中的顯存占用已成為模型選型、成本控制和性能優化的核心環節。本報告旨在提供一個全面、深入的分析框架，用于評估不同LLM在各種部署條件下的實際顯存需求。報告首先闡述了LLM推理顯存占用的核心原理，剖析了模型參數、KV緩存、激活值等關鍵組成部分，并分析了模型架構（如稠密模型與混合專家模型MoE）、上下文長度、并發數等因素的影響。隨后，報告詳細介紹了顯存占用的計算方法，并對比了vLLM、SGLang等主流推理框架在顯存管理上的策略差異。最后，本報告以當前業界領先的Qwen3 235B（MoE模型）和字節跳動最新的Seed-36B（稠密模型）為例，結合NVIDIA RTX 4090和H100兩款典型硬件，通過理論計算和表格化的方式，詳細估算了它們在不同并發請求下的顯存需求，為實際部署提供了具象化的參考。

第一部分：大型語言模型（LLM）推理顯存占用的核心原理

要精確評估LLM的顯存占用，首先必須理解其在推理過程中的內存消耗構成。與需要存儲梯度和優化器狀態的訓練階段不同，推理階段的顯存占用主要由靜態的模型權重和動態的計算緩存構成 。

1.1 顯存占用的主要構成部分

1. 模型參數（Model Parameters / Weights） ：這是顯存占用的最主要和最基礎的部分 。它指的是模型加載到GPU中以執行計算所需的所有權重和偏置。其大小直接由模型的參數量和存儲每個參數所用的數據精度（如FP32、FP16、BF16、INT8或INT4）決定 。例如，一個70億參數的模型，如果使用FP16（每個參數占2個字節）精度，僅模型參數就需要70億 * 2字節 ≈ 14 GB的顯存。

2. KV緩存（Key-Value Cache） ：在基于Transformer架構的LLM中，為了避免在生成每個新token時重復計算前面所有token的鍵（Key）和值（Value）矩陣，系統會將這些中間結果緩存起來，這就是KV緩存 。KV緩存的大小是動態的，它與 并發數（Batch Size） 、 序列長度（Sequence Length） 、模型層數、隱藏維度以及注意力頭數等參數強相關 。對于長文本或高并發場景，KV緩存可能成為顯存的主要消耗者，甚至超過模型參數本身占用的顯存 。

3. 激活值（Activations / Activation Memory） ：這是模型在前向傳播過程中產生的中間張量 。雖然在推理過程中，許多激活值在計算后可以立即釋放，但仍有一部分需要保留以供后續層計算。其峰值大小取決于模型架構的復雜性、序列長度和并發數 。相比訓練過程，推理時的激活值占用通常較小，但在某些復雜計算或長序列下仍不可忽視 。

4. 框架開銷及其他（Framework Overhead & Others） ：這部分包括推理框架（如vLLM、SGLang、PyTorch）自身的運行時開銷、CUDA內核、臨時工作區（Workspace）以及一些無法預見的顯存碎片等 。這部分開銷通常較難精確計算，一般會預留10%-20%的“安全邊際”作為估算 。

1.2 影響顯存占用的關鍵因素

1.2.1 模型架構：MoE vs. 稠密模型

• 稠密模型 (Dense Model) ：如字節跳動的Seed-36B 在推理時需要加載并激活全部模型參數。因此，其模型參數部分的顯存占用是固定的，由總參數量決定。
• 混合專家模型 (MoE, Mixture of Experts) ：如阿里的Qwen3 235B 其總參數量巨大，但每次前向傳播只激活一小部分專家（Experts）。例如，Qwen3 235B擁有2350億總參數，但在推理時僅激活約220億參數 。這意味著其模型參數顯存占用遠小于其標稱的總參數量，僅取決于激活參數量。然而，其KV緩存和激活值的計算仍需基于模型的完整隱藏維度和層數，這使得MoE模型在顯存效率上展現出巨大優勢 。

1.2.2 上下文長度與并發數

上下文長度（序列長度）和并發數（批處理大小）主要通過影響KV緩存的大小來改變總顯存占用。

• 上下文長度 (Context Length) ：KV緩存的大小與序列長度成線性正比關系 。當處理的文本越長，需要緩存的K和V矩陣就越多，顯存占用隨之飆升。
• 并發數 (Concurrency / Batch Size) ：KV緩存的大小同樣與并發請求的數量成線性正比關系 。每個并發請求都需要自己獨立的KV緩存空間。因此，并發數越高，總的KV緩存需求就越大。

1.2.3 部署方式與推理框架

不同的推理框架通過其獨特的內存管理技術，對顯存的實際使用效率產生顯著影響。

• vLLM：其核心技術是PagedAttention 。它將KV緩存像操作系統管理虛擬內存一樣，以“塊（Block）”為單位進行分頁管理。這極大地減少了因序列長度不同導致的內存碎片，實現了高達92%的內存利用率 ，并能支持更高的并發吞吐量 。
• SGLang：SGLang采用了RadixAttention和精細化的內存管理機制 。它特別擅長處理復雜的生成任務（如Agent工作流、CoT），通過優化的調度算法和內存回收機制，在