1.?概述
在大模型業務處理中,需要用到gemma3?和?qwen2.5-VL,當前服務器的ollama版本 0.3.11,無法滿足要求,需要更新升級。
2.?實施過程
參考官網升級要求:
curl -fsSL https://ollama.com/install.sh | sh
不知道啥原因,訪問一直超時,無法下載。沒有辦法只好在本地通過?VPN下載,然后上傳到服務器。
1)查看本地當前版本,并停止,確保端口不被占用。
# 當前系統中ollama路徑
which ollama
# 輸出
/usr/local/bin/ollama# 先停止當前版本
sudo systemctl stop ollama
2)找到當前最新版本 0.6.4,到版本release頁面(Releases · ollama/ollama),找到合適的平臺包 (ollama-linux-amd64.tgz),然后上傳到服務器。
3)解壓
在解壓之前,先檢查壓縮包中的文件內容,以確保不會覆蓋重要文件:
tar -tzf ollama-linux-amd64.tgz
# 可以看到輸出:
bin/ollama
lib/ollama/cuda_v11/
lib/ollama/cuda_v11/libggml-cuda.so
lib/ollama/cuda_v11/libcublas.so.11
lib/ollama/cuda_v11/libcublas.so.11.5.1.109
lib/ollama/cuda_v11/libcublasLt.so.11.5.1.109
lib/ollama/cuda_v11/libcudart.so.11.3.109
lib/ollama/cuda_v11/libcublasLt.so.11
lib/ollama/cuda_v11/libcudart.so.11.0
lib/ollama/cuda_v12/
lib/ollama/cuda_v12/libggml-cuda.so
lib/ollama/cuda_v12/libcudart.so.12
lib/ollama/cuda_v12/libcudart.so.12.8.90
lib/ollama/cuda_v12/libcublasLt.so.12
lib/ollama/cuda_v12/libcublas.so.12.8.4.1
lib/ollama/cuda_v12/libcublas.so.12
lib/ollama/cuda_v12/libcublasLt.so.12.8.4.1
lib/ollama/libggml-base.so
lib/ollama/libggml-cpu-alderlake.so
lib/ollama/libggml-cpu-haswell.so
lib/ollama/libggml-cpu-icelake.so
lib/ollama/libggml-cpu-sandybridge.so
lib/ollama/libggml-cpu-skylakex.so
解壓到 /usr 目錄,根據上述可以看到,會更新 /usr 目錄下的 bin 和 lib 目錄。
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
這樣相關新版本ollama都安裝完畢。
4)更新?service
更新 /etc/systemd/system/ollama.service,主要是 ExecStart 路徑:
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Environment="OLLAMA_KEEP_ALIVE=-1"[Install]
WantedBy=default.target
然后執行更新:
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
查看版本:
ollama -v
# 輸出
ollama version is 0.6.4
Warning: client version is 0.3.11
5)解決警告
這個警告的原因,應該是上一個版本的信息殘留,直接去 /usr/local/bin/ 路徑下,刪除 ollama,然后建立軟鏈接:
ln -s /usr/bin/ollama ollama
再次執行 ollama -v:
ollama version is 0.6.4
# 正常