倆種方式都可
一、linux通過docker安裝ollama鏡像
1.下載安裝ollama鏡像
# 安裝 Docker
sudo yum install docker
sudo systemctl start docker#docker查看所有容器
docker ps -a # 查看所有容器# docker查看指定容器
docker ps -a |grep ollama# 創建模型存儲目錄(例如 /data/ollama_models)
sudo mkdir -p /data/ollama_models
sudo chmod -R 777 /data/ollama_models # 確保容器有寫入權限# 啟動容器并掛載目錄
docker run -d \--name ollama \-v /data/ollama_models:/root/.ollama \ # 將主機目錄掛載到容器內-p 11434:11434 \ollama/ollama#修改默認模型存儲路徑
如果不想掛載 /root/.ollama,可通過環境變量指定其他路徑:
docker run -d \--name ollama \-v /custom/models:/data/ollama_models \ # 自定義掛載點-e OLLAMA_MODELS=/data/ollama_models \ # 指定容器內路徑-p 11434:11434 \ollama/ollama# 停止容器
docker stop ollama# 啟動
docker start ollama# 重啟動
docker restart ollama#如果ollama正在運行并且不需要ollama了,刪除
docker stop ollama && docker rm ollama
2.檢查目錄掛載 (-v) 是否生效?
#檢查目錄掛載 (-v) 是否生效
方法 1:使用 docker inspect 查看掛載信息
docker inspect ollama | grep -A 5 Mounts方法2:
# 進入容器內部
docker exec -it ollama bash# 查看目錄是否存在
ls -l /data/ollama_models# 嘗試創建測試文件(驗證寫入權限)
touch /data/ollama_models/test.txt
exit# 返回主機檢查文件是否同步
ls -l /custom/models/test.txt
3.?檢查環境變量 (-e
) 是否生效
方法 1:使用 docker inspect 查看環境變量
docker inspect ollama | grep -A 10 Env
預期輸出
"Env": ["OLLAMA_MODELS=/data/ollama_models","PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
]方法 2:在容器內打印環境變量
docker exec -it ollama sh -c 'echo $OLLAMA_MODELS'
預期輸出/data/ollama_models
4.下載大模型
進入容器內操作或直接通過 REST API 下載模型:
方法 1:進入容器內操作??
大模型占用內存一般較高,最好查一下電腦配置是否能帶動大模型
docker exec -it ollama ollama pull llama2 # 下載 llama2 模型
模型會自動保存到掛載的目錄?/data/ollama_models
。
方法 2:通過主機直接調用
curl -X POST http://localhost:11434/api/pull -d '{"name": "llama2"}'
5. 驗證模型下載
# 查看已下載模型
docker exec -it ollama ollama list# 檢查主機目錄內容
ls /data/ollama_models/models
6. 運行模型
# 在容器內交互式運行
docker exec -it ollama ollama run llama2# 通過 API 調用
curl http://localhost:11434/api/generate -d '{"model": "llama2", "prompt": "你好"}'
二、linux本地安裝ollama
1. 下載并安裝 Ollama
# 下載 Ollama
curl -fsSL https://ollama.com/install.sh | sh# 啟動 Ollama 服務
sudo systemctl enable ollama
sudo systemctl start ollama#停止ollama服務
sudo systemctl stop ollama
2. 設置環境變量指定模型目錄
默認情況下,Ollama 會將模型存儲在?~/.ollama
?目錄。要更改此位置:
# 創建新的模型存儲目錄(例如 /data/ollama_models)
sudo mkdir -p /data/ollama_models
sudo chown -R $USER:$USER /data/ollama_models# 設置環境變量(臨時生效)
export OLLAMA_MODELS=/data/ollama_models# 使環境變量永久生效
echo "export OLLAMA_MODELS=/data/ollama_models" >> ~/.bashrc
source ~/.bashrc
3. 重啟 Ollama 服務使更改生效
sudo systemctl restart ollama
4. 驗證安裝并下載模型
# 檢查服務狀態
systemctl status ollama# 下載模型(會自動保存到指定目錄)
ollama pull llama2# 運行模型
ollama run llama2
5. (可選) 修改 systemd 服務文件永久設置
如果通過環境變量不生效,可以修改服務文件:sudo vi /etc/systemd/system/ollama.service
在?[Service]?部分添加:Environment="OLLAMA_MODELS=/data/ollama_models"
然后重新加載并重啟服務:sudo systemctl daemon-reload
sudo systemctl restart ollama
6.查看ollama日志
?
1. 查看詳細日志
首先獲取更詳細的錯誤信息:sudo journalctl -u ollama -n 50 --no-pager
或直接運行 Ollama 查看輸出:sudo /usr/local/bin/ollama serve
7. 檢查?ollama
?用戶是否存在
運行以下命令檢查用戶和組是否已創建:id ollama # 檢查用戶是否存在
grep ollama /etc/group # 檢查用戶組是否存在如果不存在,可以手動創建:
sudo useradd -r -s /bin/false ollama # 創建系統用戶(無登錄權限)
注意事項:
-
-
確保指定的目錄有足夠的存儲空間
-
目錄權限要正確,Ollama 進程需要有讀寫權限
-
不同版本的 Ollama 可能有不同的配置方式
-