導語
昨天看到阿里開源了Qwq-32b,號稱性能可以媲美Deepseek-R1。今天晚上有空就在Mac上折騰了一下,使用ollma進行了部署,效果感覺還不錯,特此記錄。
環境
硬件
- 型號:Macbook M1 Pro 14寸
- 內存:32G
環境配置
首先需要安裝ollama,直接前往Ollama官網下載對應系統版本安裝包并進行安裝即可。
之后,打開命令行(mac是zsh),輸入
jiexing@MacBook-M1-Pro ~ % ollama run qwq
pulling manifest
pulling c62ccde5630c... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 19 GB
pulling 41190096a061... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.2 KB
pulling d18a5cc71b84... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 11 KB
pulling 4afe5edfdb51... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 77 B
pulling 6a8faa2fb8b0... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 488 B
verifying sha256 digest
writing manifest
success
>>> 請介紹一下你自己
<think></think>你好!我是通義千問,阿里巴巴集團旗下的超大規模語言模型。我可以幫助你回答問題、創作文字,比如寫故事、寫公文、寫郵件、寫劇本,進行邏輯推理、編程等。我熟練掌握多種語言,包括但不限于中文、英文、德語、法語、西班牙語等。如果你有任何問題或需要幫助,歡迎隨時告訴我!
WebUI搭建
完成部署后,看著簡陋的命令行背景,感覺還是不如chatgpt、Deepseek那些網頁版體驗好,于是找了一下如何部署一個Web UI。主要參考ollama-webui-lite項目,嘗試如下:
首先需要clone項目:
git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
然后運行
yarn
結果我這里報錯
zsh command not found yarn
于是我使用brew來安裝yarn,直接brew install yarn
是無法成功的,經過搜索發現需要更新brew update
,然后順利安裝yarn。
在運行之前,還需要確保本機的node>=16,可以直接使用
brew install node
來安裝。
啟動界面
在項目目錄下,運行yarn dev
,即可成功設置WebUI,點擊 http://localhost:3000/ 即可打開本地的WebUI。
jiexing@MacBook-M1-Pro ollama-webui-lite % yarn dev
yarn run v1.22.22
$ vite dev --host --port 3000Forced re-optimization of dependenciesVITE v4.5.9 ready in 499 ms? Local: http://localhost:3000/? Network: http://192.168.71.174:3000/? Network: http://10.50.50.18:3000/? press h to show help