大模型推理系統的設計過程，本質上是在多重約束下尋找最優解的過程。硬件資源的物理限制、場景對性能的剛性要求、系統的可擴展性需求，共同構成了設計的邊界條件。明確這些約束的具體表現形式，理解性能指標之間的權衡邏輯，確立架構設計的核心原則，是構建高效分布式推理系統的前提。

一、硬件資源約束深度解析

硬件是分布式推理系統的物理基礎，其固有的性能上限構成了設計的第一重約束。這些約束并非靜態的“天花板”，而是需要通過技術手段靈活適配的動態邊界。

1. 顯存限制：從靜態存儲到動態增長

單設備的顯存容量是最直觀的約束，但其影響遠超“能否裝下模型”這一表層問題。

• 模型參數存儲的剛性需求：
  模型參數的顯存占用與參數量和精度直接相關。以FP16精度為例，130B參數模型需要260GB顯存（130B×2字節），而當前主流GPU（A100/H100）的單卡顯存上限為80GB，僅能容納模型的1/3。即使采用INT4量化（參數存儲量降至1/4），130B模型仍需65GB，接近單卡上限，剩余顯存難以承載推理過程中的中間結果。

• KV緩存的動態擴張：
  推理過程中，KV緩存（存儲每一層的Key和Value張量）的顯存占用隨序列長度動態增長，其增長速度甚至超過模型參數本身。例如，70B模型處理128K token時：

  • 單頭KV緩存的大小為：序列長度×隱藏層維度×2（Key+Value）×2字節（FP16）= 128,000 × 8,192 × 2 × 2 ≈ 4.1GB；
  • 模型通常包含96個頭，總KV緩存需求為4.1GB×96≈394GB，遠超單卡80GB顯存。

• 碎片化與預留空間：
  動態分配顯存會導致碎片（利用率通常僅60%-70%），且需預留10%-20%的“應急空間”應對突發需求（如長序列輸入）。這意味著實際可用顯存往往僅為標稱容量的50%-60%，進一步加劇了顯存壓力。

2. 算力瓶頸：從單卡極限到集群協同

算力決定了推理的速度上限，而高并發場景下的算力需求往往呈指數級增長。

• 單卡算力的物理極限：
  當前頂級GPU（H100）的FP16算力約為4PetaFLOPS，但實際推理中受內存帶寬、算子效率等因素限制，有效算力通常僅為理論值的50%-70%。以70B模型處理1K token為例，單次推理的計算量約為2.8×101?次運算，單卡需耗時約14秒（2.8×101? ÷ (4×101? × 0.6)），完全無法滿足實時性需求。

• 高并發場景的算力黑洞：
  當QPS（每秒請求數）達到1000時，單卡算力根本無法支撐。例如，1000 QPS的70B模型推理，總計算需求為1000 × 2.8×101? = 2.8×101?次/秒，需約117張H100（2.8×101? ÷ (4×101? × 0.6)）才能滿足，這還未考慮請求之間的調度開銷。

• 計算效率的非線性衰減：
  當批量大小（batch size）超過一定閾值（如32），GPU計算單元的利用率不再線性提升，反而因內存訪問延遲增加導致效率下降。這意味著單純通過增大batch提升算力利用率的方式存在天花板。

3. 通信帶寬：節點內外的速度鴻溝

分布式推理依賴設備間的數據傳輸，通信帶寬與延遲直接決定了并行策略的有效性。

• 節點內通信的優勢與局限：
  同一節點內的GPU通過NVLink或NVSwitch連接，帶寬可達900GB/s（H100節點），延遲僅微秒級。這種高帶寬低延遲特性使得節點內適合部署張量并行（TP）等通信密集型策略。但節點內GPU數量有限（通常8卡），當并行度超過節點規模時，必須依賴跨節點通信。

• 節點間通信的性能損耗：
  跨節點通信通常依賴RDMA網絡，主流200Gbps RDMA的實際有效帶寬約25GB/s，僅為NVLink的1/36，延遲則為數十微秒（是節點內的10-100倍）。例如，傳輸