LLM的MoE由什么構成：門控網絡，專家網絡

專家網絡

• 定義與特點：是一組獨立的模型，每個模型都負責處理某個特定的子任務或學習輸入空間的特定部分。這些專家可以是簡單的線性回歸模型、決策樹，也可以是復雜的神經網絡如多層感知機（MLP）、Transformer等。在不同的應用場景中，專家網絡會根據具體任務進行定制。
• 舉例：在圖像識別任務中，對于不同類型的圖像場景或物體類別，可以設置不同的專家網絡。如一個專家網絡專門負責識別自然風景圖像，擅長提取和處理自然風景中的顏色、紋理等特征；另一個專家網絡則專注于識別人物圖像，對人物的面部特征、肢體動作等有更深入的學習和理解。

門控網絡

• 定義與作用：負責根據輸入數據的特征，動態地決定哪個專家模型應該被激活以生成最佳預測，并計算每個專家的貢獻權重。門控網絡自身也是通過學習得到的，它可以根據輸入的特征來決定最佳的專家組合方式。
• 舉例