環境準備

Docker

Ollama

Open-WebUi

Ollama

下載地址：Ollama

docker安裝ollama

docker run -d \
-v /data/ollama/data:/root/.ollama \
-p 11434:11434 \
--name ollama ollama/ollama

下載模型

Ollama模型倉庫

# 示例：安裝deepseek-r1:7b
docker exec -it ollama ollama run deepseek-r1:7b# 下載完成會進入到模型界面，按ctrl+d退出

高級設置：Ollama使用GPU加速

安裝驅動

參考教程

安裝 NVIDIA Container Toolkit 軟件包

Ollama使用GPU加速

# 配置存儲庫
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo# 安裝 NVIDIA Container Toolkit 軟件包
yum install -y nvidia-container-toolkit# 配置 Docker 以使用 Nvidia 驅動程序
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker# 啟動ollama容器，添加參數--gpus=all
docker run -d \
--gpus=all \
-v /data/ollama/data:/root/.ollama \
-p 11434:11434 \
--name ollama ollama/ollama

Open-WebUi

官方文檔

docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
--gpus all \
-v /data/open-webui/data:/app/backend/data \
--name open-webui ghcr.io/open-webui/open-webui:main# 設置賬號和郵箱