7D-AI系列：模型微調之mlx-lm

大模型的出現，導致信息量太大，只有靜心動手操作，才能得到真理。

文章目錄

- 環境要求
- 安裝
- 示例
- mlx-lm微調工具參數
- 準備數據集
- 下載模型
- 微調模型
- 合并模型
- 驗證結果
- - 驗證微調前的模型
  - 驗證微調后的模型

環境要求

macbook pro m系列芯片
mlx環境已安裝

安裝

mlx-lm微調工具是一個用于微調基于mlx框架的預訓練語言模型(LM)的工具。該工具提供了多種功能，包括預訓練語言模型的微調、模型保存和加載、模型評估等功能。

(mlx) gaolou@GaodeMacBook-Pro mlx-examples % pip install mlx-lm

示例

當使用 generate 命令且不指定模型時，會自動下載 models--mlx-community--Llama-3.2-3B-Instruct-4bit 模型。并保在 /Users/gaolou/.cache/huggingface/hub 中。

(mlx) gaolou@GaodeMacBook-Pro mlx-examples % mlx_lm.generate --prompt "How tall is Mt Everest?"
special_tokens_map.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [00:00<00:00, 2.87MB/s]
config.json: 1.12kB [00:00, 2.42MB/s]                                                                                                                             
tokenizer_config.json: 54.6kB [00:00, 66.4MB/s]                                                                                         | 1/6 [00:00<00:04,  1.04it/s]
model.safetensors.index.json: 45.7kB [00:00, 124MB/s]
tokenizer.json: 17.2MB [00:01, 16.9MB/s]
model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.81G/1.81G [00:47<00:00, 37.7MB/s]
Fetching 6 files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6/6 [00:52<00:00,  8.78s/it]
==========
Mt. Everest is approximately 8,848 meters (29,029 feet) tall.
==========
Prompt: 41 tokens, 101.355 tokens-per-sec
Generation: 19 tokens, 120.663 tokens-per-sec
Peak memory: 1.937 GB
(mlx) gaolou@GaodeMacBook-Pro mlx-examples %

mlx-lm微調工具參數

(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.lora --help                                  
usage: mlx_lm.lora [-h] [--model MODEL] [--train] [--data DATA] [--fine-tune-type {lora,dora,full}] [--optimizer {adam,adamw}] [--mask-prompt][--num-layers NUM_LAYERS] [--batch-size BATCH_SIZE] [--iters ITERS] [--val-batches VAL_BATCHES] [--learning-rate LEARNING_RATE][--steps-per-report STEPS_PER_REPORT] [--steps-per-eval STEPS_PER_EVAL] [--resume-adapter-file RESUME_ADAPTER_FILE] [--adapter-path ADAPTER_PATH][--save-every SAVE_EVERY] [--test] [--test-batches TEST_BATCHES] [--max-seq-length MAX_SEQ_LENGTH] [-c CONFIG] [--grad-checkpoint] [--seed SEED]
LoRA or QLoRA finetuning.
options:-h, --help            show this help message and exit--model MODEL         The path to the local model directory or Hugging Face repo.--train               Do training--data DATA           Directory with {train, valid, test}.jsonl files or the name of a Hugging Face dataset (e.g., 'mlx-community/wikisql')--fine-tune-type {lora,dora,full}Type of fine-tuning to perform: lora, dora, or full.--optimizer {adam,adamw}Optimizer to use for training: adam or adamw--mask-prompt         Mask the prompt in the loss when training--num-layers NUM_LAYERSNumber of layers to fine-tune. Default is 16, use -1 for all.--batch-size BATCH_SIZEMinibatch size.--iters ITERS         Iterations to train for.--val-batches VAL_BATCHESNumber of validation batches, -1 uses the entire validation set.--learning-rate LEARNING_RATEAdam learning rate.--steps-per-report STEPS_PER_REPORTNumber of training steps between loss reporting.--steps-per-eval STEPS_PER_EVALNumber of training steps between validations.--resume-adapter-file RESUME_ADAPTER_FILELoad path to resume training from the given fine-tuned weights.--adapter-path ADAPTER_PATHSave/load path for the fine-tuned weights.--save-every SAVE_EVERYSave the model every N iterations.--test                Evaluate on the test set after training--test-batches TEST_BATCHESNumber of test set batches, -1 uses the entire test set.--max-seq-length MAX_SEQ_LENGTHMaximum sequence length.-c CONFIG, --config CONFIGA YAML configuration file with the training options--grad-checkpoint     Use gradient checkpointing to reduce memory use.--seed SEED           The PRNG seed
(mlx) gaolou@GaodeMacBook-Pro mlx-lm %

準備數據集

在用mlx_lm.lora 微調工具微調模型時，需要準備數據集。數據集可以是一個目錄，包含 train.jsonl、valid.jsonl和test.jsonl文件，也可以是一個Hugging Face數據集。數據要超過5條。

示例如下：


{"prompt": "你是誰？","completion": "我是7DRESAR性能分析決策模型，我可以幫助你分析系統的性能問題，給出性能分析證據鏈，并提供相應的解決方案。"}
{"prompt": "如何分析操作系統中用戶態CPU使用率高的根本原因？","completion": "根據7DRESAR性能分析決策樹模型，分析us cpu使用率高根本原因的步驟如下：1. 首先要明確是us cpu使用率，而非其他cpu計數器。2. 然后查看us cpu消耗在哪個進程上。3， 再進一步根據進程號查看是哪一個線程消耗了us cpu。注意：如果不是某一個特定線程一直消耗us cpu，而是有多個線程消耗cpu，并且線程號在不斷切換，則需要判斷線程數設置是否合理。4. 當明確了某個線程消耗了us cpu之后，再多次打印線程棧，以確定正在執行的代碼。5. 最后根據線程棧信息，確定是哪個代碼片段消耗了us cpu。在java的應用中，可以用arthas之類的工具來跟蹤方法的執行時間，其他的語言中也有類似的工具。"}
{"prompt": "如何分析操作系統中磁盤IO使用率高的根本原因？","completion": "根據7DRESAR性能分析決策樹模型，分析磁盤IO使用率高的根本原因步驟如下：1. 首先要明確磁盤本身順序、隨機讀寫能力的上下限。也就是需要根據基準測試確定磁盤的最大讀寫能力。2. 然后查看磁盤IO消耗在哪個線程上。這一步在linux中可以直接通過iotop命令做到。3. 可以直接打線程棧，查看是哪一段代碼在讀寫文件。4. 根據讀寫文件的邏輯，判斷是否需要增加讀寫buffer的大小。5. 若讀寫文件不合理，則減少讀寫。"}
{"prompt": "如何分析操作系統中內存使用率高的根本原因？","completion": "根據7DRESAR性能分析決策樹模型，分析內存率高的根本原因步驟如下：1. 對于java語言的應用，查看jvm的gc狀態；對于其他語言開發的應用，則分析物理內存的使用情況。2. 若物理內存使用率高，在linux中可以使用top -Hp pid命令查看進程中哪個線程消耗了內存。3. 可以直接打線程棧，查看是哪一段代碼在申請內存。4. 若申請內存不合理，則減少內存申請。5. 若內存申請合理，則需要考慮增加節點或內存。"}
{"prompt": "如何分析操作系統中網絡是否阻塞？","completion": "根據7DRESAR性能分析決策樹模型，分析網絡是否阻塞步驟如下：1. 在linux中通過命令netstat查看recvq和sendq是否有積壓。2. 若本機recvq有積壓，則是阻塞在本機。3. 若是sendq有積壓，則需要查看tcp連接的對端recvq是否也有積壓，若有，則需要分析對端recvq積壓的原因。"}
{"prompt": "如何分析操作系統中上下文切換是否合理？","completion": "根據7DRESAR性能分析決策樹模型，分析上下文切換是否合理步驟如下：1. 在linux中通過命令vmstat查看上下文切換的次數。2. 若上下文切換次數高，則需要分析上下文切換的原因。3. 若上下文切換的原因是線程數設置不合理，則需要調整線程數。4. 若上下文切換的原因是線程切換的時間片不合理，則需要調整線程切換的時間片。"}

下載模型

你可以到網上下載一個模型權重。這里我之前在本地演示時，訓練過的一個模型權重 Qwen2.5-0.5B-Instruct。

注意：模型的選擇要量力而為。

(mlx) gaolou@GaodeMacBook-Pro DeepSeek-R1-1.5B-7dresar % pwd
/Users/gaolou/Desktop/AI研究/AI模型權重/DeepSeek-R1-1.5B-7dresar
(mlx) gaolou@GaodeMacBook-Pro DeepSeek-R1-1.5B-7dresar % tree -h
[ 320]  .
├── [ 392]  Modelfile
├── [ 812]  config.json
├── [ 181]  generation_config.json
├── [3.3G]  model.safetensors
├── [ 485]  special_tokens_map.json
├── [ 11M]  tokenizer.json
├── [6.7K]  tokenizer_config.json
└── [ 16K]  讀取模型文件.md
1 directory, 8 files

微調模型


(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.lora --model /Users/gaolou/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct --train --data ./dataset
Loading pretrained model
Loading datasets
Training
Trainable parameters: 0.073% (0.360M/494.033M)
Starting training..., iters: 1000
Iter 1: Val loss 3.671, Val took 0.257s
Iter 10: Train loss 3.379, Learning Rate 1.000e-05, It/sec 3.233, Tokens/sec 2062.551, Trained Tokens 6380, Peak mem 3.130 GB
Iter 20: Train loss 2.893, Learning Rate 1.000e-05, It/sec 3.214, Tokens/sec 2050.724, Trained Tokens 12760, Peak mem 3.130 GB
Iter 30: Train loss 2.525, Learning Rate 1.000e-05, It/sec 3.227, Tokens/sec 2058.875, Trained Tokens 19140, Peak mem 3.130 GB
Iter 40: Train loss 2.198, Learning Rate 1.000e-05, It/sec 3.271, Tokens/sec 2086.831, Trained Tokens 25520, Peak mem 3.130 GB
----------刪除了部分輸出日志------------
Iter 990: Train loss 0.009, Learning Rate 1.000e-05, It/sec 3.205, Tokens/sec 2044.611, Trained Tokens 631620, Peak mem 3.136 GB
Iter 1000: Val loss 0.009, Val took 0.162s
Iter 1000: Train loss 0.009, Learning Rate 1.000e-05, It/sec 3.209, Tokens/sec 2047.448, Trained Tokens 638000, Peak mem 3.136 GB
Iter 1000: Saved adapter weights to adapters/adapters.safetensors and adapters/0001000_adapters.safetensors.
Saved final weights to adapters/adapters.safetensors.
(mlx) gaolou@GaodeMacBook-Pro mlx-lm %

合并模型

(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.fuse --model /Users/gaolou/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct --adapter-path ./adapters --save-path Qwen2.5-0.5B-7dresar-v0.1
Loading pretrained model
(mlx) gaolou@GaodeMacBook-Pro mlx-lm % ll
total 88
drwxrwxr-x@ 14 gaolou  staff   448  4 12 03:39 tests
-rw-rw-r--@  1 gaolou  staff  1509  4 12 03:39 setup.py
-rw-rw-r--@  1 gaolou  staff    77  4 12 03:39 requirements.txt
drwxrwxr-x@ 29 gaolou  staff   928  4 12 03:39 mlx_lm
-rw-rw-r--@  1 gaolou  staff  9186  4 12 03:39 README.md
-rw-rw-r--@  1 gaolou  staff    56  4 12 03:39 MANIFEST.in
-rw-rw-r--@  1 gaolou  staff  1066  4 12 03:39 LICENSE
-rw-rw-r--@  1 gaolou  staff  2773  4 12 03:39 CONTRIBUTING.md
-rw-rw-r--@  1 gaolou  staff  5544  4 12 03:39 CODE_OF_CONDUCT.md
-rw-rw-r--@  1 gaolou  staff   640  4 12 03:39 ACKNOWLEDGMENTS.md
drwxr-xr-x@  5 gaolou  staff   160  4 12 16:27 dataset
drwxr-xr-x@ 14 gaolou  staff   448  4 12 16:57 adapters
drwxr-xr-x@  8 gaolou  staff   256  4 12 17:03 DeepSeek-R1-1.5B-7dresar-v0.1
drwxr-xr-x@ 12 gaolou  staff   384  4 12 18:35 DeepSeek-R1-8B-7dresar-v0.1
drwxr-xr-x@ 11 gaolou  staff   352  4 12 19:11 Qwen2.5-0.5B-7dresar-v0.1
(mlx) gaolou@GaodeMacBook-Pro mlx-lm % tree -h Qwen2.5-0.5B-7dresar-v0.1
[ 352]  Qwen2.5-0.5B-7dresar-v0.1
├── [ 605]  added_tokens.json
├── [ 710]  config.json
├── [1.6M]  merges.txt
├── [942M]  model.safetensors
├── [ 20K]  model.safetensors.index.json
├── [ 613]  special_tokens_map.json
├── [ 11M]  tokenizer.json
├── [7.2K]  tokenizer_config.json
└── [2.6M]  vocab.json
1 directory, 9 files
(mlx) gaolou@GaodeMacBook-Pro mlx-lm %

驗證結果

驗證微調前的模型


(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.generate --model /Users/gaolou/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct --max-tokens 1000 --prompt "如何分析操作系統中用戶態CPU使用率高的根本原因？"
==========
分析操作系統中用戶態CPU使用率高的根本原因，通常需要從以下幾個方面進行深入分析：
1. **系統資源使用情況**：首先，需要了解系統的總資源使用情況，包括CPU、內存、磁盤I/O等。如果系統資源使用率過高，可能意味著系統負載過高，需要進一步分析。
2. **進程和線程管理**：檢查進程和線程的使用情況。如果某些進程或線程占用大量CPU資源，可能是由于它們的運行狀態不穩定或資源分配不當導致的。
3. **內存使用情況**：檢查內存使用情況，包括內存的分配和釋放。如果內存分配過多或釋放不足，可能會導致CPU使用率過高。
4. **磁盤I/O使用情況**：檢查磁盤I/O使用情況，包括磁盤的讀寫速度和磁盤I/O的總請求量。如果磁盤I/O使用率過高，可能是由于磁盤的性能問題或磁盤I/O的調度策略不當導致的。
5. **系統調度和資源管理**：檢查系統調度和資源管理的策略，包括進程調度、內存分配和磁盤I/O調度等。如果這些策略不當，可能會導致CPU使用率過高。
6. **系統優化和調整**：根據上述分析，可以考慮對系統進行優化和調整，例如調整進程和線程的調度策略、優化磁盤I/O調度策略、調整內存分配策略等。
7. **系統監控和日志分析**：通過系統監控和日志分析，可以更深入地了解CPU使用率高的原因，包括異常的CPU使用情況、異常的內存使用情況、異常的磁盤I/O使用情況等。
8. **性能測試和優化**：進行性能測試和優化，找出性能瓶頸，然后針對性地進行優化。
通過上述分析和優化，可以有效地解決用戶態CPU使用率高的問題，提高系統的性能和穩定性。
==========
Prompt: 42 tokens, 1476.203 tokens-per-sec
Generation: 404 tokens, 194.790 tokens-per-sec
Peak memory: 1.044 GB

驗證微調后的模型

(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.generate --model /Users/gaolou/Desktop/AI研究/AI工具集/mlx/mlx-lm/Qwen2.5-0.5B-7dresar-v0.1 --max-tokens 1000 --prompt "如何分析操作系統中用戶態CPU使用率高的 根本原因？"
==========
根據7DRESAR性能分析決策樹模型，分析us cpu使用率高根本原因的步驟如下：
1. 首先要明確是us cpu使用率，而非其他cpu計數器。
2. 然后查看us cpu消耗在哪個進程上。
3， 再進一步根據進程號查看是哪一個線程消耗了us cpu。注意：如果不是某一個特定線程一直消耗us cpu，而是有多個線程消耗cpu，并且線程號在不斷切換，則需要判斷線程數設置是否合理。
4. 當明確了某個線程消耗了us cpu之后，再多次打印線程棧，以確定正在執行的代碼。
5. 最后根據線程棧信息，確定是哪個代碼片段消耗了us cpu。在java的應用中，可以用arthas之類的工具來跟蹤方法的執行時間，其他的語言中也有類似的工具。
==========
Prompt: 42 tokens, 1410.335 tokens-per-sec
Generation: 187 tokens, 196.516 tokens-per-sec
Peak memory: 1.044 GB