微調需要準備哪些環境配置?
如果沒有 GPU,即便是微調較小的大語言模型(LLMs),過程也會比較慢。如果你已經有了現成的 GPU,那就可以直接開工了。不過,并不是所有人都能負擔得起 GPU—— 這種情況下,你可以使用云服務平臺來跟隨本實操系列課程運行代碼,比如 Google Colab(免費版提供 Tesla T4 GPU,含 15GB 內存)和 runpod.io(付費服務)。
Google Colab 配置
Google Colab 的默認環境已經包含了將用到的大部分庫,只需要額外安裝三個庫:datasets、bitsandbytes和trl,操作非常簡單。
Runpod.io 配置
RunPod 的 Jupyter Notebook 模板只預裝了兩個庫:numpy和torch,因此你需要手動安裝所有其他必要的包。
可選庫
還有幾個可選庫:ollama、unsloth、xformers和gguf。 用于轉換和部署微調后的模型。根據你在這些步驟中選擇的方案不同,可能需要安裝其中一個或多個庫。