一、大模型模型發展路線退

二、DeepSeek V2-V3/R1技術原理

DeepSeek V2、V3 和 R1 模型架構優化要點：

1、?DeepSeek V2?

• 混合專家架構（DeepSeekMoE）?：采用細粒度專家劃分與共享專家機制，總參數規模達236B但僅激活21B參數，降低計算冗余?34。?
• ?多頭潛在注意力（MLA）?：通過低秩壓縮優化Key-Value矩陣計算，結合旋轉位置編碼（RoPE），減少推理顯存占用?14。
• ?訓練數據擴展?：預訓練階段使用8萬億token數據，通過平衡不同領域的數據采樣提升模型泛化能力?3。

2、?DeepSeek V3?

• 參數規模與效率平衡?：總參數擴展至671B，結合動態稀疏激活機制，僅激活37B參數，實現更高性能與更低推理成本?24。?
• 動態專家選擇優化?：基于輸入內容自適應分配計算資源，增強對復雜任務（如數學推理、代碼生成）的適應性?15。?
• ?多令牌預測（MTP）?：在訓練階段同時預測多個未來token，提升模型對上下文邏輯關系的捕捉效率?45。

3、?DeepSeek R1??

• ?檢索增強生成（RAG）架構?：采用雙模塊設計（檢索模塊+生成模塊），結合外部知識庫提升生成內容的準確性與實時性?15。??
• 強化學習策略?：通過GRPO框架和人類反饋強化學習（RLHF），優化模型對齊能力與安全性?25。??
• 輕量化推理優化?：結合DeepSeek-V3的稀疏激活特性，在AIME 2024等測試中實現接近GPT-4的性能但成本更低?12。
  ?

演進關系?：

• V2到V3的核心升級在于參數擴展（236B→671B）、動態專家選擇優化以及MTP訓練目標的引入?24；?
• R1基于V3的基礎架構，強化檢索增強生成與輕量化推理能力，聚焦垂直領域的高效應用?

三、DeepSeek效應

四、未來展望

視頻鏈接：https://www.bilibili.com/video/BV1TzNVepEgY/?spm_id_from=333.337.search-card.all.click&vd_source=8066b0fe558a3d040eb762ed70ba335a