0 MAC

前幾天經過學生優惠以及國補17K入手了mac studio,然后這兩天親自測試其模型行運用能力如何，是否支持微調、推理速度等能力。下面進入正文。

1 mac 與 unsloth

按照下面的進行安裝以及測試，是可以跑通文章里面的代碼。訓練速度也是很快的。

注意：一定要切換分支！python版本不要太高！

mac安裝unsloth_mac unsloth-CSDN博客

下載模型：我下載速度好慢！

from modelscope import snapshot_download
model_dir = snapshot_download('LLM-Research/Llama-3.2-3B-Instruct')

訓練一下看看如何：跑通沒有障礙，后面的文章我會繼續介紹unsloth～

推理測試

文件名稱換成自己的即可！

from mlx_lm import load, stream_generaterepo = "/Users/****/.cache/modelscope/hub/models/LLM-Research/Llama-3.2-3B-Instruct"
model, tokenizer = load(repo)prompt = "你會做什么，請用100字回答"messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True
)for response in stream_generate(model, tokenizer, prompt, max_tokens=512):print(response.text, end="", flush=True)
print()

?結果：我可以提供信息、答案和建議。我們可以在許多領域交流，如教育、科技、娛樂、生活tips等。您有什么問題或想討論的主題？我會盡力幫助您。

2 總結

可以看到，經過mac可以滿足微調以及推理測試，后面我會繼續使用unsloth測試mac的能力。內容包含：獲取文本數據、拉取大模型、使用不同的策略進行微調、對齊等過程！