mlx是apple平臺的大模型推理框架，對mac m1系列處理器支持較好。

這里記錄mlx安裝和運行示例。

1 安裝mlx框架

conda create -n mlx?python=3.12

conda activate mlx

pip install mlx-lm

2 運行mlx測試例

以下是測試程序，使用方法和hf、vllm等推理框架基本一致。

import os
os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"import mlx_lmmodel_id="mlx-community/Qwen2.5-Coder-7B-Instruct-4bit"model, tokenizer = mlx_lm.load(model_id)
stream_generate = mlx_lm.stream_generatemessages = [{"role": "system", "content": "你是一個科學家型的AI助手。"},{"role": "user", "content": "您好！"},{"role": "assistant", "content": "你好！有什么我可以幫助你的嗎？"},{"role": "user", "content": "你能解釋一下牛頓第一定律嗎，包括公式原來，參數解釋等。"}
]prompt_ids = tokenizer.apply_chat_template(messages)
output_tokens = 0
text = ""for response in stream_generate(model, tokenizer, prompt=prompt_ids):output_tokens += 1text += response.textprint(f"\nmlx output: {text}")

mlx output: <|im_start|>牛頓第一定律，也被稱為慣性定律，是經典力學中的一個基本定律。它表明，如果一個物體不受外力作用，或者受到的外力相互抵消，那么這個物體將保持其靜止狀態或者勻速直線運動狀態。

公式：F合=0

參數解釋：
F合：表示物體受到的合力，單位為牛頓（N）。
0：表示合力為零，即物體不受外力作用或者受到的外力相互抵消。

牛頓第一定律的物理意義：
牛頓第一定律告訴我們，物體的運動狀態不會因為沒有外力作用而改變。如果物體處于靜止狀態，它會一直保持靜止；如果物體處于勻速直線運動狀態，它會一直保持勻速直線運動。這個定律揭示了物體的慣性性質，即物體具有保持其運動狀態的傾向。

牛頓第一定律的應用：
牛頓第一定律在日常生活和工程中有很多應用。例如，當我們推一個物體時，如果物體開始移動，我們需要繼續施加力以保持其運動狀態。如果沒有外力作用，物體最終會停下來。此外，牛頓第一定律也解釋了為什么我們在汽車急剎車時會向前傾，因為...

reference

---

smolagents - 如何在mac用agents做簡單算術題

https://blog.csdn.net/liliang199/article/details/149281317