一、前言

    本篇文章將使用Axolotl去高效微調QWen2系列模型，通過閱讀本文，您將能夠更好地掌握這些關鍵技術，理解其中的關鍵技術要點，并應用于自己的項目中。

---

二、術語介紹

2.1. LoRA微調

    LoRA (Low-Rank Adaptation) 用于微調大型語言模型 (LLM)。  是一種有效的自適應策略，它不會引入額外的推理延遲，并在保持模型質量的同時顯著減少下游任務的可訓練參數數量。

2.2.參數高效微調(PEFT) 

    僅微調少量 (額外) 模型參數，同時凍結預訓練 LLM 的大部分參數，從而大大降低了計算和存儲成本。

2.3. Qwen2-7B-Instruct

    是通義千問 Qwen2 系列中的一個指令微調模型。它在 Qwen2-7B 的基礎上進行了指令微調，以提高模型在特定任務上的性能。

    Qwen2-7B-Instruct 具有以下特點：

• 強大的性能：在多個基準測試中，Qwen2-7B-Instruct 的性能可與 Llama-3-70B-Instruct 相匹敵。
• 代碼和數學能力提升：得益于高質量的數據和指令微調，Qwen2-7B-Instruct 在數學和代碼能力上實現了飛升。