長上下文革命：Multi-Head Latent Attention（MLA）機制

傳統 Transformer 的多頭注意力需要緩存所有輸入token的 Key 和 Value，這對長文本推理時的內存開銷極為龐大。DeepSeek V2 針對這一難題提出了“Multi-Head Latent Attention”（MLA）機制。MLA 的核心思想是對多頭注意力中的 Key 和 Value 做低秩聯合壓縮，只存儲壓縮后的潛在向量，從而極大縮減注意力緩存。具體來說，對于每個token的輸入向量 $h$