Docker安裝Ollama

• 拉取鏡像

  docker pull ollama/ollama
  

  ?

• 啟動-使用GPU

  docker run -d --gpus=all -p 11434:11434 --name ollama ollama/ollama
  

  1. docker run : Docker 的核心命令，用于創建并啟動一個新的容器。

  2. -d : 后臺模式（detached mode），容器將在后臺運行，不會阻塞當前終端。

  3. --gpus=all : 啟用 NVIDIA GPU 支持，指定使用所有可用的 GPU。

     --gpus：啟用 GPU 支持。

     all：使用所有可用的 GPU。也可以指定特定的 GPU，例如 --gpus=gpu-0,gpu-1。

  4. -p 11434:11434 ： 端口映射，將容器內的端口映射到宿主機的端口。

     格式為 -p <宿主機端口>:<容器端口>。

     在此命令中，將容器的 11434 端口映射到宿主機的 11434 端口，可通過 localhost:11434 訪問容器內的服務。

  5. --name ollama ：為容器指定名稱，此處將容器命名為 ollama。如果不指定，Docker 會自動生成一個隨機名稱。

  6. ollama/ollama ：指定使用的 Docker 鏡像名稱，ollama/ollama 是 Ollama 的官方鏡像，從 Docker Hub 拉取，就是我們剛剛拉取的。

• 啟動-使用CPU

  docker run -d  -p 11434:11434 --name ollama ollama/ollama
  

  ? 下面的是用GPU的

• 查看ollama是否啟動成功

  在本機瀏覽器中輸入

  http://127.0.0.1:11434

  顯示 Ollama is running 則為啟動成功

  

• 查看ollama支持的模型

  https://ollama.com/library

  在這個里面可以看到所有支持的模型，比如搜索deepseek-r1, 如下圖，最后一個箭頭就是在ollama中運行deepseekr1-1.5b的命令。備注：deepseekr1-1.5b是deepseekr1在qwen2.5-1.5b的蒸餾版本。

  ?

• 進入ollama容器中

  docker exec -it ollama /bin/bash
  

  

• 下載模型

  使用剛剛復制的命令

  ollama run deepseek-r1:1.5b
  

  如果之前沒有，那么第一次使用會先下載模型，等待下載完畢即可使用

  ?

• 在本地可以使用chatbox，或者openwebui，或者cherrystudio等等接入ollama的模型，下面以cherrystudio為例子示范一下

  ?

  點擊管理，會自動識別出已有的大模型（比如我們剛剛下載的deepseekr1-1.5b）

  ?

  檢查

  ?

  顯示連接成功

  ?

  切換到聊天，新建聊天窗口，切換模型，開始聊天

  ?

  可以看到正常返回了。

  ---