聯邦大語言模型典型系統： FATE - LLM、FedLLM、FederatedScope - LLM、PrimiHub
目錄
- 聯邦大語言模型典型系統： FATE - LLM、FedLLM、FederatedScope - LLM、PrimiHub
- PEFT 技術及簡單舉例
- PEFT 技術代碼實現
- 提示詞工程不僅僅在聊天對話框實現，還可以再代碼中實現
聯邦大語言模型典型系統包括 FATE - LLM、FedLLM、FederatedScope - LLM、PrimiHub 聯邦語言大模型、OpenFedLLM 和 FedLLM - Bench 等，以下是這些系統的原理及舉例說明：
-
FATE - LLM：這是一個工業級聯邦學習框架。它包含三個組件，Communication - Efficient Hub 將多種 PEFT 方法（如 Adapter、Prompt、KD 和 Quantization 等）集成到 FedLLM 中，通過減少客戶端的局部模型參數和模型存儲大小來實現傳輸優化；
-
FedLLM Model Hub 集成了多種主流 LLM（如 BERT、GPTs、LLaMA 等）以適應不同場景；FedLLM Privacy Hub 則運用安全聚合、差分隱私和多方計算等技術保護數據隱私和模型安全。例如，在實際應用中，它
單元格的總和？ (★）)
)
