在之前的博文中，我們已經了解了LLaMA-Factory框架執行各類任務的流程。今天，我們將深入探討SFT微調過程中關于數據集的兩個關鍵問題：
- 數據集中的instruction和input是如何結合起來生成大模型可以理解的輸入的？instruction是不是就是system prompt呢？（之所以會問這個問題，是因為我發現有的數據集將輸入作為instruction，有的作為input，而它們在效果上基本沒有區別）
- 模板(template)是如何起作用的？它如何將文本數據轉換為模型可以理解的格式？
這兩個問題其實在處理流程上是一體的，由于篇幅限制，我們這里先聚焦于第一個問題。
文章目錄
- SFT微調整體流程
- 主要流程概括
- 數據集與微調參數準備
- SFT入參調試
- 數據生成源碼解析
- 數據集準備
- 數據集加載部分
- 讀取單個文件
- 格式轉換（解開謎題的鑰匙）
- 多數據集合并
- 數據集后處理部分
- 結論
??進入大模型應用與實戰專欄 | ??查看更多專欄內容
研究 CSMSF)
