解鎖DeepSeek潛能:Docker+Ollama打造本地大模型部署新范式

🐇明明跟你說過:個人主頁

🏅個人專欄:《深度探秘:AI界的007》?🏅

🔖行路有良友,便是天堂🔖

目錄

一、引言

1、什么是Docker

2、什么是Ollama

二、準備工作

1、操作系統

2、鏡像準備

三、安裝

1、安裝Docker

2、啟動Ollama

3、拉取Deepseek大模型

4、啟動Deepseek?


一、引言

1、什么是Docker

Docker:就像一個“打包好的App”

想象一下,你寫了一個很棒的程序,在自己的電腦上運行得很好。但當你把它發給別人,可能會遇到各種問題:

  • “這個軟件需要 Python 3.8,但我只有 Python 3.6!”

  • “我沒有你用的那個庫,安裝失敗了!”

  • “你的程序要跑在 Linux,我的電腦是 Windows!”

💡 Docker 的作用:它就像一個“打包好的 App”,把你的軟件、依賴、環境、系統配置等 全部封裝到一個“容器” 里,別人拿到這個容器,就能直接運行,而不用關心它內部的細節。


🚀 把 Docker 想象成“集裝箱”

傳統運輸 vs. 集裝箱運輸

以前(傳統部署)

  • 貨物(程序)需要不同的包裝方式(運行環境)

  • 貨物可能損壞(環境不兼容)

  • 裝卸麻煩(程序遷移難)

有了 Docker(容器部署)

  • 貨物裝進標準化集裝箱(Docker 容器)

  • 不管運到哪里,集裝箱里東西不變(程序環境一致)

  • 碼頭和船只可以直接裝卸(輕松部署到不同系統)

Docker 讓軟件像“集裝箱”一樣標準化、可移植、易部署! 🚢

2、什么是Ollama

Ollama 是一個本地運行大語言模型(LLM)的工具,它可以讓你 在自己的電腦上直接運行 AI 模型,而不需要連接云端服務器。

💡 簡單來說:Ollama 讓你像運行普通軟件一樣,輕松在本地使用 ChatGPT、Llama、Mistral、Gemma 等大語言模型。

🚀 Ollama 的核心特點

  1. 本地運行 🏠

    • 你不需要聯網,也不用擔心隱私問題,所有計算都在你的電腦上完成。

  2. 支持多種開源模型 📚

    • 可以運行 Llama 3、Mistral、Gemma、Code Llama 等不同的大模型。

  3. 易于安裝和使用 🔧

    • 只需要幾條命令,就能下載并運行 AI 模型。

  4. 輕量化優化 ?

    • 適配 Mac(Apple Silicon)、Linux 和 Windows,支持 GPU 加速,讓模型運行更快。

  5. 離線推理 🔒

    • 適合不想依賴 OpenAI API 或其他云端 AI 服務的用戶。

二、準備工作

1、操作系統

這里我們使用的操作系統為Centos 7.9,配置為4核8G,大家也可以使用其他的Linux發行版本,或者使用Windows。

2、鏡像準備

如果已經安裝了Docker,可以提前準備好鏡像,ollama/ollama,鏡像比較大,拉取會耗一些時間

三、安裝

1、安裝Docker

1.關閉防火墻

systemctl stop firewalld && systemctl disabled firewalld

2.關閉SELinux

setenforce 0

3.更換yum源

rm -f /etc/yum.repos.d/*
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all && yum makecache

4.安裝依賴項

yum install -y yum-utils device-mapper-persistent-data lvm2

5. 添加Docker源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

?6.安裝Docker

yum install docker-ce -y

7.添加Docker鏡像加速器

vim /etc/docker/daemon.json
# 添加如下內容
{"registry-mirrors": ["https://docker.m.daocloud.io","https://noohub.ru","https://huecker.io","https://dockerhub.timeweb.cloud","https://0c105db5188026850f80c001def654a0.mirror.swr.myhuaweicloud.com","https://5tqw56kt.mirror.aliyuncs.com","https://docker.1panel.live","http://mirrors.ustc.edu.cn/","http://mirror.azure.cn/","https://hub.rat.dev/","https://docker.ckyl.me/","https://docker.chenby.cn","https://docker.hpcloud.cloud","https://docker.m.daocloud.io"]}

8.啟動Docker

systemctl start docker

2、啟動Ollama

1.啟動Ollama容器

docker run -itd -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  • docker run?? ?運行一個新的 Docker 容器
  • -itd?? ?組合多個選項:
    • ? -i(保持標準輸入)
    • ? -t(分配終端)
    • ? -d(后臺運行容器)
  • -v ollama:/root/.ollama?? ?掛載數據卷,把 ollama 這個 Docker 數據卷 綁定到容器的 /root/.ollama 目錄,確保數據持久化(如下載的模型不會丟失)。
  • -p 11434:11434?? ?端口映射,把 宿主機(本機)的 11434 端口 映射到 容器 內部的 11434 端口,這樣宿主機可以通過 http://localhost:11434 訪問 Ollama 服務。
  • --name ollama?? ?指定 容器名稱 為 ollama,方便管理和啟動。
  • ollama/ollama?? ?使用的 Docker 鏡像,這里是 官方的 Ollama 鏡像。

如果是使用GPU運行,則用下面的命令啟動

docker run -itd --name ollama  --gpus=all -v ollama:/root/.ollama -p 11434:11434  ollama/ollama

2.查看Ollama容器

docker ps

??

3、拉取Deepseek大模型

1.進入到容器中?

docker exec -it ollama /bin/bash

2.拉取模型

ollama pull  deepseek-r1:7b

??

在官網中,有許多Deepseek的模型,這里主要是演示,所以拉取了一個較小的模型

官網地址:deepseek-r1

??

3.查看模型

ollama list

??

4、啟動Deepseek?

ollama run deepseek-r1:7b

??

?💕💕💕每一次的分享都是一次成長的旅程,感謝您的陪伴和關注。希望這些文章能陪伴您走過技術的一段旅程,共同見證成長和進步!😺😺😺

🧨🧨🧨讓我們一起在技術的海洋中探索前行,共同書寫美好的未來!!!??

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/75545.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/75545.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/75545.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

uv - Guides 指南 [官方文檔翻譯]

文章目錄 Guides 指南概述安裝 Python入門安裝特定版本重新安裝 Python查看 Python 安裝自動 Python 下載使用現有的 Python 版本 運行腳本在沒有依賴的情況下運行腳本運行帶有依賴的腳本創建一個Python腳本聲明腳本依賴使用替代包索引鎖定依賴提高可重復性使用不同的 Python 版…

根據模板將 Excel 明細數據生成 PDF 文檔 | PDF實現郵件合并功能

在日常辦公中,我們常常會面臨這樣的需求:依據特定的模板,把 Excel 里的每一條數據轉化為單獨的 PDF 文檔,且這些 PDF 文檔中的部分內容會根據 Excel 數據動態變化。這一功能不僅能高效完成任務,還支持圖片的動態替換&a…

apache安裝腳本使用shell建立

注意防火墻,yum,網絡連接等 以下是具體的apache安裝腳本 #!/bin/bash # Set Apache version to install ## author: yuan # 檢查外網連接 echo "檢查外網連接..." ping www.baidu.com -c 3 > /dev/null 2>&1 if [ $? -eq 0 ]; …

wordpress主題使用中常見錯誤匯總

在WordPress主題的使用過程中,開發者可能會遇到各種問題。下面是一些常見錯誤的匯總,并給出了相應的解決方法。 一、主題安裝與激活錯誤 無法激活主題:檢查主題文件是否完整,以及是否符合WordPress的主題規范。 激活主題后出現…

如何設計一個訂單號生成服務?應該考慮那些問題?

如何設計一個訂單號生成服務?應該考慮那些問題? description: 在高并發的電商系統中,生成全局唯一的訂單編號是關鍵。本文探討了幾種常見的訂單編號生成方法,包括UUID、數據庫自增、雪花算法和基于Redis的分布式組件,并…

Springboot 集成 Flowable 6.8.0

1. 創建 Spring Boot 項目 通過 Spring Initializr(https://start.spring.io/ )創建一個基礎的 Spring Boot 項目,添加以下依賴: Spring WebSpring Data JPAMySQL DriverLombok(可選,用于簡化代碼&#x…

《TCP/IP網絡編程》學習筆記 | Chapter 22:重疊 I/O 模型

《TCP/IP網絡編程》學習筆記 | Chapter 22:重疊 I/O 模型 《TCP/IP網絡編程》學習筆記 | Chapter 22:重疊 I/O 模型理解重疊 I/O 模型重疊 I/O本章討論的重疊 I/O 的重點不在于 I/O 創建重疊 I/O 套接字執行重疊 I/O 的 WSASend 函數進行重疊 I/O 的 WSA…

搭建Redis哨兵集群

停掉現有的redis集群 因為這篇文章我是在 搭建完redis主從集群之后寫的,如果要是沒有搭建過這些,可以直接略過。要是從我上一篇 搭建redis主從集群過來的,可以執行下。 docker compose down 查找下redis相關進程 ps -ef | grep redis 可以看…

MySQL中,聚集索引和非聚集索引到底有什么區別?

文章目錄 1. 數據存儲方式2. 索引結構3. 查詢效率4. 索引數量5. 適用場景6. 示例說明7. 總結 在MySQL中,聚集索引和非聚集索引(也稱二級索引)的區別主要體現在數據存儲方式、索引結構和查詢效率等方面。以下是詳細對比: 1. 數據存…

看 MySQL InnoDB 和 BoltDB 的事務實現

BoltDB 事務實現 BoltDB 支持多讀單寫方式的并發級別 事務操作會鎖表 它的 MVCC 為 2 個版本,當前版本和正在寫的版本 多讀:可以并發讀當前版本 單寫(串行寫):寫時拷貝當前 B 樹,構建新 B 樹&#xff…

08_JavaScript數據操作方法_數組

目錄 一、創建一個數組 1.1 數組如何創建 字面量創建 構造函數創建 1.2 數組的長度 數組名.length 1.3 數組的索引 1.4 數組如何循環遍歷 for 循環遍歷 for in for of 二、數組的常用方法 (重點 面試) push 方法 unshift 方法 pop shif…

2025.3.25總結

工作:這兩天工作都沒啥產出,主要是工作狀態不太好,周日晚上兩點睡,周一晚上一點睡。熬夜傷身,但就是控制不住自己,睡前總要刷刷手機。本來想睡前看會書的,但這行為及其不穩定,抖音也…

《Python實戰進階》第33集:PyTorch 入門-動態計算圖的優勢

第33集:PyTorch 入門-動態計算圖的優勢 摘要 PyTorch 是一個靈活且強大的深度學習框架,其核心特性是動態計算圖機制。本集將帶您探索 PyTorch 的張量操作、自動求導系統以及動態計算圖的特點與優勢,并通過實戰案例演示如何使用 PyTorch 實現…

初識哈希表

一、題意 給定一個整數數組 nums 和一個目標值 target,要求你在數組中找出和為目標值的那兩個整數,并返回它們的數組下標。你可以假設每種輸入只會對應一個答案。但是,數組中同一個元素不能使用兩遍。 示例: 給定 nums [2, 7, …

23種設計模式-創建型模式-單例

文章目錄 簡介問題1. 確保一個類只有一個實例2. 為該實例提供全局訪問點 解決方案示例重構前:重構后: 拓展volatile 在單例模式中的雙重作用 總結 簡介 單例是一種創建型設計模式,它可以確保一個類只有一個實例,同時為該實例提供…

python裁剪nc文件數據

問題描述: 若干個nc文件儲存全球的1850-2014年月尺度的mrro數據(或其他數據),從1850-1到2014-12一共1980個月,要提取出最后35年1980.1~2014.12年也就是420個月的數據。 代碼實現 def aaa(input_file,output_file,bianliang,start_index,en…

深入解析 Spring Framework 5.1.8.RELEASE 的源碼目錄結構

深入解析 Spring Framework 5.1.8.RELEASE 的源碼目錄結構 1. 引言 Spring Framework 是 Java 領域最流行的企業級開發框架之一,廣泛用于 Web 開發、微服務架構、數據訪問等場景。本文將深入解析 Spring Framework 5.1.8.RELEASE 的源碼目錄結構,幫助開…

數據清洗:基于python抽取jsonl文件數據字段

基于python抽取目錄下所有“jsonl”格式文件。遍歷文件內某個字段進行抽取并合并。 import os import json import time from tqdm import tqdm # 需要先安裝:pip install tqdmdef process_files():# 設置目錄路徑dir_path r"D:\daku\關鍵詞識別\1623-00000…

Windows 下使用 Docker 部署 Go 應用與 Nginx 詳細教程

一、環境準備 1. 安裝必要軟件 Docker Desktop for Windows 下載地址:Docker Desktop: The #1 Containerization Tool for Developers | Docker 安裝時勾選"使用 WSL 2 引擎"(推薦) WSL 2(Windows Subsystem for Li…

C# .net ai Agent AI視覺應用 寫代碼 改作業 識別屏幕 標注等

C# net deepseek RAG AI開發 全流程 介紹_c# 向量處理 deepseek-CSDN博客 視覺多模態大模型 通義千問2.5-VL-72B AI大模型能看懂圖 看懂了后能干啥呢 如看懂圖 讓Agent 寫代碼 ,改作業,識別屏幕 標注等等。。。 據說是目前最好的免費圖片識別框架 通…