電腦需要顯卡:
執行下載并安裝:
curl -fsSL https://ollama.com/install.sh | sh
安裝完后到Ollama Search?中查看ollama 可以部署的模型有哪些:
我選擇gemma3,所以執行:
ollma pull gemma3:latest? 這樣就把gemma3:latest 模型下載到了本地
可以查看已經下載安裝的大模型:ollama list
運行模型:
ollama run gemma3 或者 ollama run gemma3:latest
再執行:ctrl + d 退出對話
安裝Dify:
AGI之路-ubuntu24安裝docker部署dify接入ollama deepseekr1:14b - 知乎
Ubuntu 24.04 LTS 安裝Docker_ubuntu24.04安裝docker-CSDN博客
Doker 安裝記得添加官方秘鑰 以及配置國內源
git clone https://gitee.com/dify_ai/dify.git #使用國內地址,避免超時
cd?dify/docker
cp .env.example .env
#運行dify
sudo docker compose up -d
查看dify日志
sudo docker compose logs -f
三 dify接入ollama準備工作
通過 systemd 服務文件配置環境變量
如果 Ollama 是通過 systemd 管理的服務,可以通過修改其服務文件來設置環境變量。
步驟:
使用 vim 編輯 Ollama 的 systemd 服務文件:
sudo vim /etc/systemd/system/ollama.service
在 [Service] 部分添加以下內容:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_PORT=11434"
編輯完成后,文件內容可能類似以下:
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/bin/ollama
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_PORT=11434"
Restart=always
[Install]
WantedBy=multi-user.target
保存并退出 vim:
按 ESC 鍵退出編輯模式。
輸入 :wq 保存并退出。
重新加載 systemd 配置并重啟 Ollama:
sudo systemctl daemon-reload
sudo systemctl restart ollama
3. 驗證配置
檢查 Ollama 是否正在監聽指定的 IP 和端口:
sudo netstat -tuln | grep 11434
如果配置成功,應該會看到類似以下的輸出:
tcp 0 0 0.0.0.0:11434 0.0.0.0:* LISTEN
4. 通過 IP 訪問
現在可以通過服務器的 IP 地址訪問 Ollama,例如:
curl http://:11434