🐇明明跟你說過:個人主頁
🏅個人專欄:《深度探秘:AI界的007》?🏅
🔖行路有良友,便是天堂🔖
目錄
一、引言
1、什么是Docker
2、什么是Ollama
二、準備工作
1、操作系統
2、鏡像準備
三、安裝
1、安裝Docker
2、啟動Ollama
3、拉取Deepseek大模型
4、啟動Deepseek?
一、引言
1、什么是Docker
Docker:就像一個“打包好的App”
想象一下,你寫了一個很棒的程序,在自己的電腦上運行得很好。但當你把它發給別人,可能會遇到各種問題:
-
“這個軟件需要 Python 3.8,但我只有 Python 3.6!”
-
“我沒有你用的那個庫,安裝失敗了!”
-
“你的程序要跑在 Linux,我的電腦是 Windows!”
💡 Docker 的作用:它就像一個“打包好的 App”,把你的軟件、依賴、環境、系統配置等 全部封裝到一個“容器” 里,別人拿到這個容器,就能直接運行,而不用關心它內部的細節。
🚀 把 Docker 想象成“集裝箱”
傳統運輸 vs. 集裝箱運輸
以前(傳統部署):
-
貨物(程序)需要不同的包裝方式(運行環境)
-
貨物可能損壞(環境不兼容)
-
裝卸麻煩(程序遷移難)
有了 Docker(容器部署):
-
貨物裝進標準化集裝箱(Docker 容器)
-
不管運到哪里,集裝箱里東西不變(程序環境一致)
-
碼頭和船只可以直接裝卸(輕松部署到不同系統)
Docker 讓軟件像“集裝箱”一樣標準化、可移植、易部署! 🚢
2、什么是Ollama
Ollama 是一個本地運行大語言模型(LLM)的工具,它可以讓你 在自己的電腦上直接運行 AI 模型,而不需要連接云端服務器。
💡 簡單來說:Ollama 讓你像運行普通軟件一樣,輕松在本地使用 ChatGPT、Llama、Mistral、Gemma 等大語言模型。
🚀 Ollama 的核心特點
-
本地運行 🏠
-
你不需要聯網,也不用擔心隱私問題,所有計算都在你的電腦上完成。
-
-
支持多種開源模型 📚
-
可以運行 Llama 3、Mistral、Gemma、Code Llama 等不同的大模型。
-
-
易于安裝和使用 🔧
-
只需要幾條命令,就能下載并運行 AI 模型。
-
-
輕量化優化 ?
-
適配 Mac(Apple Silicon)、Linux 和 Windows,支持 GPU 加速,讓模型運行更快。
-
-
離線推理 🔒
-
適合不想依賴 OpenAI API 或其他云端 AI 服務的用戶。
-
二、準備工作
1、操作系統
這里我們使用的操作系統為Centos 7.9,配置為4核8G,大家也可以使用其他的Linux發行版本,或者使用Windows。
2、鏡像準備
如果已經安裝了Docker,可以提前準備好鏡像,ollama/ollama,鏡像比較大,拉取會耗一些時間
三、安裝
1、安裝Docker
1.關閉防火墻
systemctl stop firewalld && systemctl disabled firewalld
2.關閉SELinux
setenforce 0
3.更換yum源
rm -f /etc/yum.repos.d/*
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all && yum makecache
4.安裝依賴項
yum install -y yum-utils device-mapper-persistent-data lvm2
5. 添加Docker源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
?6.安裝Docker
yum install docker-ce -y
7.添加Docker鏡像加速器
vim /etc/docker/daemon.json
# 添加如下內容
{"registry-mirrors": ["https://docker.m.daocloud.io","https://noohub.ru","https://huecker.io","https://dockerhub.timeweb.cloud","https://0c105db5188026850f80c001def654a0.mirror.swr.myhuaweicloud.com","https://5tqw56kt.mirror.aliyuncs.com","https://docker.1panel.live","http://mirrors.ustc.edu.cn/","http://mirror.azure.cn/","https://hub.rat.dev/","https://docker.ckyl.me/","https://docker.chenby.cn","https://docker.hpcloud.cloud","https://docker.m.daocloud.io"]}
8.啟動Docker
systemctl start docker
2、啟動Ollama
1.啟動Ollama容器
docker run -itd -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
- docker run?? ?運行一個新的 Docker 容器
- -itd?? ?組合多個選項:
- ? -i(保持標準輸入)
- ? -t(分配終端)
- ? -d(后臺運行容器)
- -v ollama:/root/.ollama?? ?掛載數據卷,把 ollama 這個 Docker 數據卷 綁定到容器的 /root/.ollama 目錄,確保數據持久化(如下載的模型不會丟失)。
- -p 11434:11434?? ?端口映射,把 宿主機(本機)的 11434 端口 映射到 容器 內部的 11434 端口,這樣宿主機可以通過 http://localhost:11434 訪問 Ollama 服務。
- --name ollama?? ?指定 容器名稱 為 ollama,方便管理和啟動。
- ollama/ollama?? ?使用的 Docker 鏡像,這里是 官方的 Ollama 鏡像。
如果是使用GPU運行,則用下面的命令啟動
docker run -itd --name ollama --gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama
2.查看Ollama容器
docker ps
3、拉取Deepseek大模型
1.進入到容器中?
docker exec -it ollama /bin/bash
2.拉取模型
ollama pull deepseek-r1:7b
在官網中,有許多Deepseek的模型,這里主要是演示,所以拉取了一個較小的模型
官網地址:deepseek-r1
3.查看模型
ollama list
4、啟動Deepseek?
ollama run deepseek-r1:7b
?💕💕💕每一次的分享都是一次成長的旅程,感謝您的陪伴和關注。希望這些文章能陪伴您走過技術的一段旅程,共同見證成長和進步!😺😺😺
🧨🧨🧨讓我們一起在技術的海洋中探索前行,共同書寫美好的未來!!!??