這篇文章前言是我基于部署好的deepseek-r1:8b模型跑出來的
關于部署DeepSeek的前言與介紹
在當今快速發展的技術環境中,有效地利用機器學習工具來解決問題變得越來越重要。今天,我將引入一個名為DeepSeek 的工具,它作為一種強大的搜索引擎,不僅能夠幫助我們更高效地定位所需信息,還能通過自動化的方式提供深度的分析和見解。
DeepSeek簡介
DeepSeek 是一款基于先進人工智能技術開發的搜索引擎,它結合了最先進的自然語言處理和大數據分析能力,能夠為用戶提供高度個性化的搜索體驗。與傳統搜索引擎不同,DeepSeek不僅會根據關鍵詞匹配結果,還能理解用戶的意圖,自動調整搜索策略,以滿足特定需求。
為什么選擇部署DeepSeek
在我的項目中,我需要處理大量的數據,尋找特定的模式和趨勢。傳統的方法往往效率低下且耗時較長,而通過部署DeepSeek,可以將其集成到現有的工作流程中,自動化地進行信息檢索和分析。這不僅能夠提高效率,還能減少人為錯誤,確保數據處理的準確性。
部署目標
本文旨在詳細描述我對DeepSeek 的部署過程、初步體驗以及實際應用中的效果。通過分享我的經驗,我希望能為其他用戶提供有價值的參考,同時展示機器學習工具在日常工作中的潛力和便利性。
首先是環境介紹
我的筆記本安裝了ubuntu系統,所以我直接在ubuntu下使用docker快速部署ollama
GPU:RTX 2060 6G
CPU:AMD R7 4800H
MEM:DDR4 3200 8x2 16G
Docker Server Version: 25.0.2
準備工作
安裝docker腳本,使用root權限,需要聯網
#!/bin/bash
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
apt update#安裝指定版本 這里我選擇25.2版本,使用稍微靠后一點的版本,穩定性更好
apt-get install docker-ce=5:25.0.2-1~ubuntu.20.04~focal
apt-mark hold docker-ce docker-ce-cli
# docker 要使用gpu設備需要安裝驅動
curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/nvidia-container-runtime.list | sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list
sudo apt-get update
sudo apt-get install nvidia-container-runtime#安裝二進制包docker-compose
wget https://ghfast.top/https://github.com/docker/compose/releases/download/v2.27.3/docker-compose-linux-x86_64
chmod +x docker-compose-linux-x86_64
mv docker-compose-linux-x86_64 /usr/local/bin/docker-composemkdir /etc/docker/
#寫入鏡像加速配置
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://docker.m.daocloud.io","https://docker.1ms.run","https://docker-0.unsee.tech","https://docker.hlmirror.com","https://func.ink"]}
EOFsystemctl daemon-reload
systemctl enable docker
systemctl start dockersystemctl status docker
拉取鏡像
# web前端服務
docker pull ghcr.io/open-webui/open-webui:main
# ollama服務
docker pull ollama/ollama:0.5.7
編排文件
#創建網絡
docker network create --subnet 172.20.0.0/16 ollama-net
#創建目錄
mkdir {ollamadeamon,ollamawebui}#目錄結構如下,將下面給出的文件寫入docker-compose.yaml
luobozi@lenoud:~/docker$ tree -L 2
├── ollamadeamon
│ └── docker-compose.yaml #ollamadeamon目錄下docker-compose.yaml文件
├── ollamawebui
│ ├── docker-compose.yaml #ollamawebui目錄下docker-compose.yaml文件
ollamadeamon-docker-compose.yaml
version: "3.3"
services:ollama:image: ollama/ollama:0.5.7container_name: ollama-deamonhostname: ollama-deamonrestart: unless-stoppedports:- 11434:11434networks:- ollama-nettty: truevolumes:- ./data:/root/.ollamadeploy:# 添加 GPU 資源配置resources:reservations:devices:- capabilities:- gpuenvironment:# 可選:設置 CUDA 環境變量- NVIDIA_VISIBLE_DEVICES=all # 使容器可以訪問所有 GPU- NVIDIA_DRIVER_CAPABILITIES=compute,utility # 啟用計算和工具功能
networks:ollama-net:external: true
ollamawebui-docker-compose.yaml
version: "3.3"
services:open-webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: ollama-webuihostname: ollama-webuirestart: unless-stoppednetworks:- ollama-netports:- 3000:8080extra_hosts:- host.docker.internal:host-gatewayvolumes:- ./data:/app/backend/dataenvironment:- ENABLE_OPENAI_API=False- ENABLE_RAG_WEB_SEARCH=True- RAG_WEB_SEARCH_ENGINE="duckduckgo"- RAG_WEB_SEARCH_RESULT_COUNT=3- RAG_WEB_SEARCH_CONCURRENT_REQUESTS=10
networks:ollama-net:external: true
啟動容器
進入對應的docker-compose.yaml文件所在目錄下運行命令啟動容器
cd ./ollamadeamon
docker-compose up -dcd ../ollamawebui
docker-compose up -d
拉取deepseek模型
#進入容器
docker exec -it ollama-deamon bash#拉取14b模型,按照你的配置和需要拉取即可
ollama pull deepseek-r1:14b#下載好后,運行模型
ollama run deepseek-r1:14b
訪問本地前端
訪問 http://localhost:3000,設置用戶名和密碼
選擇下載好的模型使用即可