前些天在一臺linux服務器（8核，32G內存，無顯卡）使用ollama運行阿里通義千問Qwen1.5和Qwen2.0低參數版本大模型，Qwen2-1.5B可以運行，但是推理速度有些慢。
一直還沒有嘗試在macbook上運行測試大模型，不知道單機部署是否會有壓力？
恰好家里有一臺平時用的較少的macbook，因此，簡單做了一些測試，分享給大家，供參考和討論。
電腦配置
所使用的Macbook Pro稍微有些老，配置如下：
- 機型，MacBook Pro（13 英寸，2019 年）；
- 芯片，四核Intel Core i5 2.4GHz；
- 圖形卡：Intel Iris Plus Graphics 655 1536 MB =》1.5G顯存，是否能有用？
- 內存，16G；
- 系統，macOS Sonoma 14.5
（原來系統Catalina 10.15，發現沒有brew命令，安裝提示系統版本太低，apple已不再支持；同時系統提示，可以升級到最新mac OS，于是安裝升級到最新的系統Sonoma，點擊這里查詢macOS Sonoma 與哪些電腦兼容）
Ollama下載安裝
我們簡單實用Ollama方式運行大模型。
首先從Ollama官網下載安裝包。
Download Ollama on macOS
直接點擊maxOS下載即可，下載的文件是Ollama.zip壓縮文件，解壓后是應用程序（ollama.apk），直接雙擊運行安裝就可以。
安裝完后，在啟動臺，就可以看到這個Ollama的圖標。
大模型下載和運行
接下來就可以從ollama模型庫中，選擇需要的模型，做實驗測試了。
例如：我們選擇阿里通義千問qwen2-1.5B參數的模型：qwen2:1.5b-instruct-q5_K_M
qwen2:1.5b-instruct-q5_K_M
命令行直接運行： ollama run qwen2:1.5b-instruct-q5_K_M
如果下載失敗，再次嘗試即可。
(modelscope) MacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/qwen2/manifests/1.5b-instruct-q5_K_M": dial tcp: lookup registry.ollama.ai: i/o timeout(modelscope) deMacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████▏ 182 B
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████▏ 11 KB
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████▏ 59 B
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
removing any unused layers
success ▏ 120 MB/1.1 GB 930 KB/s 簡單測試運行，發現執行速度比預期快（幾秒內出結果），實驗情況如下：
>>> 今天是周三，7月4號。7月11號是周幾？
2023年7月11日是星期三。>>> 從下面相應的文本中提取關鍵詞。
... ###
... 文本1：{PicTech提供圖片翻譯API，開發者可以集成圖片翻譯到他們的跨境電商系統中。}
... 關鍵詞1：PicTech, 圖片翻譯API, 開發者, 跨境電商系統
... ##
... 文本2：{Meta公司訓練了非常擅長理解和生成文本的前沿語言模型，并且開源給全世界使用，這種開源精神加速了人類科技的發展，
... 非常值得尊敬。}
... 關鍵詞2：Meta公司, 前沿語言模型, 開源, 人類科技的發展, 尊敬
... ##
... 文本3：{Neil長期從事互聯網行業，對人工智能也非常感興趣，致力于科技改變生活。}
... 關鍵詞3
... ###此題答案為：1、PicTech, 圖片翻譯API, 開發者, 跨境電商系統2、Meta公司, 前沿語言模型, 開源, 人類科技的發展, 尊敬3、Neil, 互聯網行業, 人工智能, 科技改變生活>>> Send a message (/? for help)
結論： 從運行速度來看，運行相同模型（Qwen2-1.5B），在這臺macbook（4核，16G內存）運行速度，比之前在linux單機（8核，32G內存）運行速度要快了不少！ 雖然linux機器，從cpu和內存上配置高于我這臺macbook，或許兩個系統在底層加速優化方面，macbook做的較好？！
