文章目錄
- 背景
- 去另一臺機器下載模型
-
- 使用docker部署ollama
- 后續
背景
項目甲方終于搞定了一臺T4,咱們的項目又可以正常推進了。
但是,高高興興地上去之后,發現,此機器竟不可以聯網~
不過好在,前輩已經把docker裝好了。
竟然還有ollama的鏡像。
可以的,至少可以節省一步。
去另一臺機器下載模型
使用docker部署ollama
使用docker部署ollama之前,先要拉取ollama的鏡像。當然這個時候會遇到鏡像倉庫源不可用的問題。
這個時候,可以試試:docker.1ms.run作為鏡像(此鏡像非彼鏡像)
有了ollama的鏡像之后,就可以用docker run運行一個ollama的容器了:
docker run -d --gpus=all -v ./ollama:/root/.ollama -p 13434:11434 --name ollama_3 ollama/ollama
這里,--gpus=all
表示使用所有的GPU,如果你只想用某一個GPU呢?
要使用:
–gpus “device=1”