【AI】在Ubuntu中使用docker對DeepSeek的部署與使用

這篇文章前言是我基于部署好的deepseek-r1:8b模型跑出來的


關于部署DeepSeek的前言與介紹

在當今快速發展的技術環境中,有效地利用機器學習工具來解決問題變得越來越重要。今天,我將引入一個名為DeepSeek 的工具,它作為一種強大的搜索引擎,不僅能夠幫助我們更高效地定位所需信息,還能通過自動化的方式提供深度的分析和見解。

DeepSeek簡介

DeepSeek 是一款基于先進人工智能技術開發的搜索引擎,它結合了最先進的自然語言處理和大數據分析能力,能夠為用戶提供高度個性化的搜索體驗。與傳統搜索引擎不同,DeepSeek不僅會根據關鍵詞匹配結果,還能理解用戶的意圖,自動調整搜索策略,以滿足特定需求。

為什么選擇部署DeepSeek

在我的項目中,我需要處理大量的數據,尋找特定的模式和趨勢。傳統的方法往往效率低下且耗時較長,而通過部署DeepSeek,可以將其集成到現有的工作流程中,自動化地進行信息檢索和分析。這不僅能夠提高效率,還能減少人為錯誤,確保數據處理的準確性。

部署目標

本文旨在詳細描述我對DeepSeek 的部署過程、初步體驗以及實際應用中的效果。通過分享我的經驗,我希望能為其他用戶提供有價值的參考,同時展示機器學習工具在日常工作中的潛力和便利性。


首先是環境介紹

我的筆記本安裝了ubuntu系統,所以我直接在ubuntu下使用docker快速部署ollama
GPU:RTX 2060 6G
CPU:AMD R7 4800H
MEM:DDR4 3200 8x2 16G
Docker Server Version: 25.0.2
在這里插入圖片描述

準備工作

安裝docker腳本,使用root權限,需要聯網

#!/bin/bash
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
apt update#安裝指定版本 這里我選擇25.2版本,使用稍微靠后一點的版本,穩定性更好
apt-get install docker-ce=5:25.0.2-1~ubuntu.20.04~focal
apt-mark hold docker-ce docker-ce-cli
# docker 要使用gpu設備需要安裝驅動
curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey |   sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/nvidia-container-runtime.list |   sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list
sudo apt-get update
sudo apt-get install nvidia-container-runtime#安裝二進制包docker-compose
wget https://ghfast.top/https://github.com/docker/compose/releases/download/v2.27.3/docker-compose-linux-x86_64
chmod +x  docker-compose-linux-x86_64
mv docker-compose-linux-x86_64 /usr/local/bin/docker-composemkdir /etc/docker/
#寫入鏡像加速配置
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://docker.m.daocloud.io","https://docker.1ms.run","https://docker-0.unsee.tech","https://docker.hlmirror.com","https://func.ink"]}
EOFsystemctl daemon-reload
systemctl enable docker
systemctl start dockersystemctl status docker

拉取鏡像

# web前端服務
docker pull ghcr.io/open-webui/open-webui:main      
# ollama服務
docker pull ollama/ollama:0.5.7

編排文件

#創建網絡
docker  network create --subnet 172.20.0.0/16  ollama-net
#創建目錄
mkdir {ollamadeamon,ollamawebui}#目錄結構如下,將下面給出的文件寫入docker-compose.yaml
luobozi@lenoud:~/docker$ tree -L 2
├── ollamadeamon   
│   └── docker-compose.yaml  #ollamadeamon目錄下docker-compose.yaml文件
├── ollamawebui
│   ├── docker-compose.yaml  #ollamawebui目錄下docker-compose.yaml文件

ollamadeamon-docker-compose.yaml

version: "3.3"
services:ollama:image: ollama/ollama:0.5.7container_name: ollama-deamonhostname: ollama-deamonrestart: unless-stoppedports:- 11434:11434networks:- ollama-nettty: truevolumes:- ./data:/root/.ollamadeploy:# 添加 GPU 資源配置resources:reservations:devices:- capabilities:- gpuenvironment:# 可選:設置 CUDA 環境變量- NVIDIA_VISIBLE_DEVICES=all # 使容器可以訪問所有 GPU- NVIDIA_DRIVER_CAPABILITIES=compute,utility # 啟用計算和工具功能
networks:ollama-net:external: true

ollamawebui-docker-compose.yaml

version: "3.3"
services:open-webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: ollama-webuihostname: ollama-webuirestart: unless-stoppednetworks:- ollama-netports:- 3000:8080extra_hosts:- host.docker.internal:host-gatewayvolumes:- ./data:/app/backend/dataenvironment:- ENABLE_OPENAI_API=False- ENABLE_RAG_WEB_SEARCH=True- RAG_WEB_SEARCH_ENGINE="duckduckgo"- RAG_WEB_SEARCH_RESULT_COUNT=3- RAG_WEB_SEARCH_CONCURRENT_REQUESTS=10
networks:ollama-net:external: true

啟動容器

進入對應的docker-compose.yaml文件所在目錄下運行命令啟動容器
cd ./ollamadeamon
docker-compose up -dcd ../ollamawebui
docker-compose up -d

拉取deepseek模型

#進入容器
docker exec -it ollama-deamon bash#拉取14b模型,按照你的配置和需要拉取即可
ollama pull deepseek-r1:14b#下載好后,運行模型
ollama run deepseek-r1:14b

在這里插入圖片描述

訪問本地前端

訪問 http://localhost:3000,設置用戶名和密碼
在這里插入圖片描述
選擇下載好的模型使用即可
在這里插入圖片描述

8b模型使用示例

前端代碼預覽

在這里插入圖片描述

整體回答

在這里插入圖片描述

推導過程

在這里插入圖片描述

GPU 使用情況

在這里插入圖片描述

在這里插入圖片描述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/894988.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/894988.shtml
英文地址,請注明出處:http://en.pswp.cn/news/894988.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

代碼隨想錄算法【Day39】

Day39 198.打家劫舍 class Solution { public:int rob(vector<int>& nums) {if (nums.size() 0) return 0;if (nums.size() 1) return nums[0];vector<int> dp(nums.size());dp[0] nums[0];dp[1] max(nums[0], nums[1]);for (int i 2; i < nums.size…

TCP三次握手全方面詳解

文章目錄 (1) 三次握手各狀態CLOSE狀態SYN_SENT狀態SYN_RECV狀態ESTABLISHED狀態 (2) 為什么握手時的seqnum是隨機值&#xff0c;以及acknum的功能(3) 三次握手中的半連接隊列&#xff08;SYN隊列&#xff09;和全連接隊列&#xff08;ACCEPT隊列&#xff09;半連接隊列全連接隊…

數據結構與算法-遞歸

單路遞歸 二分查找 /*** 主函數&#xff1a;執行二分查找。* * param a 要搜索的數組&#xff08;必須是已排序的&#xff09;* param target 目標值* return 返回目標值在數組中的索引&#xff1b;如果未找到&#xff0c;則返回 -1*/ public static int binarySearch(int[] …

軟中斷和tasklet的區別是什么?

軟中斷和 tasklet 都是 Linux 內核中用于實現異步事件處理的機制&#xff0c;它們的主要區別如下&#xff1a; 實現機制 軟中斷&#xff1a;是一種基于軟件觸發的中斷機制&#xff0c;在內核中是一組靜態定義的、預先分配好的軟中斷向量。每個軟中斷都有一個唯一的編號和對應…

Termux安裝ssh實現電腦ssh

Termux下載 點擊下載 在 Termux 中安裝并使用 SSH&#xff0c;按照以下步驟操作&#xff1a; 1. 更新軟件包列表 pkg update && pkg upgrade2. 安裝 OpenSSH pkg install openssh3. 設置 SSH 密碼&#xff08;必須&#xff0c;否則無法使用 SSH 服務器&#xff09…

深入理解 C++17 std::is_swappable

文章目錄 深入理解 C17 std::is_swappable引言std::is_swappable 概述std::is_swappable 的工作原理std::is_swappable 的變體注意事項結論 深入理解 C17 std::is_swappable 引言 在 C 編程中&#xff0c;交換兩個對象的值是一個常見的操作。為了確保代碼的通用性和安全性&am…

51單片機之馮·諾依曼結構

一、概述 8051系列單片機將作為控制應用最基本的內容集成在一個硅片上&#xff0c;其內部結構如圖4-1所示。作為單一芯片的計算機&#xff0c;它的內部結構與一臺計算機的主機非常相似。其中微處理器相當于計算機中的CPU&#xff0c;由運算器和控制器兩個部分構成&#xff1b;…

w~Transformer~合集5

我自己的原文哦~ https://blog.51cto.com/whaosoft/12406495 #transformer~x1 太可怕了都到6了 太強~~ DeepMind 表示&#xff0c;他們提出的算法蒸餾&#xff08;AD&#xff09;是首個通過對具有模仿損失的離線數據進行順序建模以展示上下文強化學習的方法。同時基于觀察…

c#對接deepseek 聊天AI接口

注意&#xff1a;不是免費 對接文檔&#xff1a;對話補全 | DeepSeek API Docs 注冊地址&#xff1a;DeepSeek 申請key 在線請求示例 apifox deepseek - deepseek

23.PPT:校攝影社團-攝影比賽作品【5】

目錄 NO12345? NO6 NO7/8/9/10? 單元格背景填充表格背景填充文本框背景填充幻燈片背景格式設置添加考生文件夾下的版式 NO12345 插入幻燈片和放入圖片?快速&#xff1a;插入→相冊→新建相冊→文件→圖片版式→相框形狀→調整邊框寬度左下角背景圖片&#xff1a;視圖→…

創新領先!珈和科技獲評省級企業技術中心

為充分發揮中小企業創新主體作用&#xff0c;提高自主創新、集成創新和引進消化吸收再創新能力&#xff0c;增強創新驅動發展的動力&#xff0c;做好專精特新“小巨人”企業的培育工作。 近日&#xff0c;湖北省經信廳對申報2024年湖北省中小企業技術中心的企業進行審核認定并…

Android車機DIY開發之軟件篇(十二)編譯Automotive OS錯誤(3)

Android車機DIY開發之軟件篇(十二)編譯Automotive OS錯誤(3) 問題 [ 85% 113538/132897] //hardware/interfaces/neuralnetworks/1.1/utils:neuralnetworks_utils_hal_1_1 clang src/Device.cpp [ 85% 113539/132897] //hardware/interfaces/neuralnetworks/1.1/utils:neural…

初次體驗Tauri和Sycamore (2)

原創作者&#xff1a;莊曉立&#xff08;LIIGO&#xff09; 原創時間&#xff1a;2025年2月8日&#xff08;首次發布時間&#xff09; 原創鏈接&#xff1a;https://blog.csdn.net/liigo/article/details/145520637 版權所有&#xff0c;轉載請注明出處。 關鍵詞&#xff1a;Sy…

iPhone 在華銷量大幅下挫

iPhone在喬布斯時代締造的神話在中國正逐漸走向沒落&#xff0c;擠牙膏式的升級方式類似于諾基亞的N70系列&#xff0c;毫無新意的創新能力&#xff0c;求穩著陸的經營理念&#xff0c;工藝和美學不再獨領風騷&#xff0c;甚至拍照領域和AI增強計算&#xff0c;折疊屏等技術領域…

vs封裝dll 給C#使用

一&#xff0c;vs創建控制臺應用 創建控制臺應用得好處時&#xff0c;我們可以自己測試接口&#xff0c;如果接口沒有問題&#xff0c;改成dll重新編譯一遍就可以。 二&#xff0c; 創建一個c 類&#xff0c;將所需提供得功能 封裝到類中。 這樣可以將 所有功能&#xff0c;進…

懸鏈線的方程及其推導過程

懸鏈線的方程及其推導過程 懸鏈線是描述理想鏈條或柔軟繩索在重力作用下的自然形態的數學曲線。其特征在于&#xff1a;如果將一根均勻、不可伸長的鏈條兩端懸掛在固定點上&#xff0c;鏈條所呈現的形狀就會遵循一種特殊的曲線&#xff0c;這個曲線就是懸鏈線。 懸鏈線的方程…

緊跟潮流,將 DeepSeek 集成到 VSCode

Visual Studio Code&#xff08;簡稱 VSCode&#xff09;是一款由微軟開發的免費開源代碼編輯器&#xff0c;自 2015 年發布以來&#xff0c;憑借其輕便、強大、且擁有豐富擴展生態的特點&#xff0c;迅速成為了全球開發者的首選工具。VSCode 支持多平臺操作系統&#xff0c;包…

算法基礎之八大排序

文章目錄 概要1. 冒泡排序&#xff08;Bubble Sort&#xff09;2. 選擇排序&#xff08;Selection Sort&#xff09;3. 插入排序&#xff08;Insertion Sort&#xff09;4. 希爾排序&#xff08;Shell Sort&#xff09;5. 歸并排序&#xff08;Merge Sort&#xff09;6. 快速排…

html 列動態布局

樣式說明&#xff1a; /* 列動態布局&#xff0c;列之間以空格填充 */ li {display: flex;/* flex-direction: column; */justify-content: space-between; }

(python)如何看自己安裝的包的版本

linux pip list | grep "numpy\|scipy\|tensorflow\|keras"windows環境下 pip list | findstr "numpy scipy tensorflow keras"輸出 numpy 1.13.1 scipy 0.19.1 tensorflow-cpu 2.4.0 tensorflow-estimator 2.4.0 tensorflow-gpu 2.4.0