Deepseek本地部署指南：在linux服務器部署，在mac遠程web-ui訪問

1. 在Linux服務器上部署DeepSeek模型

要在 Linux 上通過 Ollama 安裝和使用模型，您可以按照以下步驟進行操作：

步驟 1：安裝 Ollama

  1. 安裝 Ollama：
    使用以下命令安裝 Ollama：

    curl -sSfL https://ollama.com/download.sh | sh

  2. 驗證安裝：
    安裝完成后，您可以通過以下命令驗證 Ollama 是否安裝成功：

    ollama --version

在這里插入圖片描述

步驟 2：下載模型

ollama run deepseek-r1:32b

這將下載并啟動DeepSeek R1 32B模型。
在這里插入圖片描述

DeepSeek R1 蒸餾模型列表

模型名稱參數量基礎架構適用場景
DeepSeek-R1-Distill-Qwen-1.5B1.5BQwen2.5適合移動設備或資源受限的終端
DeepSeek-R1-Distill-Qwen-7B7BQwen2.5適合普通文本生成工具
DeepSeek-R1-Distill-Llama-8B8BLlama3.1適合小型企業日常文本處理
DeepSeek-R1-Distill-Qwen-14B14BQwen2.5適合桌面級應用
DeepSeek-R1-Distill-Qwen-32B32BQwen2.5適合專業領域知識問答系統
DeepSeek-R1-Distill-Llama-70B70BLlama3.3適合科研、學術研究等高要求場景

RTX 4090 顯卡顯存為 24GB，32B 模型在 4-bit 量化下約需 22GB 顯存，適合該硬件。32B 模型在推理基準測試中表現優異，接近 70B 模型的推理能力，但對硬件資源需求更低。

步驟 3：運行模型

在這里插入圖片描述
通過上面的步驟，已經可以直接在 Linux服務器通過命令行的形式使用Deepseek了。但是不夠友好，下面介紹更方便的形式。

2. 在linux服務器配置Ollama服務

1. 設置Ollama服務配置
設置OLLAMA_HOST=0.0.0.0環境變量，這使得Ollama服務能夠監聽所有網絡接口，從而允許遠程訪問。

sudo vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"[Install]
WantedBy=default.target

2. 重新加載并重啟Ollama服務

sudo systemctl daemon-reload
sudo systemctl restart ollama
  1. 驗證Ollama服務是否正常運行
    運行以下命令，確保Ollama服務正在監聽所有網絡接口：
sudo netstat -tulpn | grep ollama

您應該看到類似以下的輸出，表明Ollama服務正在監聽所有網絡接口（0.0.0.0）：

tcp        0      0 0.0.0.0:11434           0.0.0.0:*               LISTEN      -                   ollama

4. 配置防火墻以允許遠程訪問

為了確保您的Linux服務器允許從外部訪問Ollama服務，您需要配置防火墻以允許通過端口11434的流量。

sudo ufw allow 11434/tcp
sudo ufw reload

5. 驗證防火墻規則
確保防火墻規則已正確添加，并且端口11434已開放。您可以使用以下命令檢查防火墻狀態：

sudo ufw status

狀態： 激活至                          動作          來自
-                          --          --
22/tcp                     ALLOW       Anywhere                  
11434/tcp                  ALLOW       Anywhere                  
22/tcp (v6)                ALLOW       Anywhere (v6)             
11434/tcp (v6)             ALLOW       Anywhere (v6)

6. 測試遠程訪問
在完成上述配置后，您可以通過遠程設備（如Mac）測試對Ollama服務的訪問。
在遠程設備上測試連接：
在Mac上打開終端，運行以下命令以測試對Ollama服務的連接：

curl http://10.70.83.38:11434/api/version

顯示

{"version":"0.5.7"}

測試問答

(base) ?  ~ curl -X POST http://10.70.83.38:11434/api/generate \-H "Content-Type: application/json" \-d '{"model": "deepseek-r1:32b", "prompt": "你是誰?"}'

顯示

{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.118616168Z","response":"\u003cthink\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.150938966Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.175255854Z","response":"\u003c/think\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.199509353Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.223657359Z","response":"您好","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.24788375Z","response":"！","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.272068174Z","response":"我是","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.296163417Z","response":"由","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.320515728Z","response":"中國的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.344646528Z","response":"深度","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.36880216Z","response":"求","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.393006489Z","response":"索","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.417115966Z","response":"（","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.441321254Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.465439117Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.489619415Z","response":"）","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.51381827Z","response":"公司","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.538012781Z","response":"開發","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.562186246Z","response":"的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.586331325Z","response":"智能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.610539651Z","response":"助手","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.634769989Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.659134003Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.683523205Z","response":"-R","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.70761762Z","response":"1","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.731953604Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.756135462Z","response":"如","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.783480232Z","response":"您","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.807766337Z","response":"有任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.831964079Z","response":"任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.856229156Z","response":"問題","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.880487159Z","response":"，","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.904710537Z","response":"我會","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.929026993Z","response":"盡","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.953239249Z","response":"我","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.977496819Z","response":"所能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.001763128Z","response":"為您提供","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.026068523Z","response":"幫助","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.050242581Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.074454593Z","response":"","done":true,"done_reason":"stop","context":[151644,105043,100165,30,151645,151648,271,151649,198,198,111308,6313,104198,67071,105538,102217,30918,50984,9909,33464,39350,7552,73218,100013,9370,100168,110498,33464,39350,12,49,16,1773,29524,87026,110117,99885,86119,3837,105351,99739,35946,111079,113445,100364,1773],"total_duration":3872978599,"load_duration":2811407308,"prompt_eval_count":6,"prompt_eval_duration":102000000,"eval_count":40,"eval_duration":958000000}

通過上述步驟，已經成功在Linux服務器上配置了Ollama服務，并通過Mac遠程訪問了DeepSeek模型。接下來，將介紹如何在Mac上安裝Web UI，以便更方便地與模型進行交互。

3. 在Mac上安裝Web UI

為了更方便地與遠程Linux服務器上的DeepSeek模型進行交互，可以在Mac上安裝一個Web UI工具。這里我們推薦使用 Open Web UI，它是一個基于Web的界面，支持多種AI模型，包括Ollama。

1. 通過conda安裝open-webui
打開終端，運行以下命令創建一個新的conda環境，并指定Python版本為3.11：

conda create -n open-webui-env python=3.11
conda activate open-webui-env
pip install open-webui

2. 啟動open-webui

open-webui serve

在這里插入圖片描述

3. 瀏覽器訪問

http://localhost:8080/
  1. 使用管理員身份（第一個注冊用戶）登錄
  2. 在Open webui界面中，依次點擊“展開左側欄”（左上角三道杠）–>“頭像”（左下角）–>管理員面板–>設置（上側）–>外部連接
  3. 在外部連接的Ollama API一欄將switch開關打開，在欄中填上http://10.70.83.38:11434（這是我的服務器地址）在這里插入圖片描述
  4. 點擊右下角“保存”按鈕
  5. 點擊“新對話”（左上角），確定是否正確刷出模型列表，如果正確刷出，則設置完畢。

4. 愉快的使用本地deepseek模型
在這里插入圖片描述

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/894999.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/894999.shtml
英文地址，請注明出處：http://en.pswp.cn/news/894999.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

3D數字化營銷：重塑家居電商新生態

3D數字化營銷：重塑家居電商新生態

隨著電商的蓬勃發展，網上訂購家具已成為眾多消費者的首選。然而，線上選購家具的諸多挑戰，如風格不匹配、尺寸不合適、定制效果不如預期以及退換貨不便等，一直困擾著消費者。為解決這些問題，家居行業急需一種全新的展示…
閱讀更多...
重塑“景區+商業”模式，打造特色文旅新體驗

重塑“景區+商業”模式，打造特色文旅新體驗

重塑“景區商業”模式，打造特色文旅新體驗 近年來，旅游業蓬勃發展，旅游熱潮不斷升溫，游客消費觀念也隨之升級。為順應這一趨勢，各大景區紛紛探索打造特色文旅項目，以期吸引更多游客。然而，“景…
閱讀更多...
在亞馬遜云科技上云原生部署DeepSeek-R1模型(下)

在亞馬遜云科技上云原生部署DeepSeek-R1模型(下)

在本系列的上篇中，我們介紹了如何通過Amazon Bedrock部署并測試使用了DeepSeek模型。在接下來的下篇中小李哥將繼續介紹，如何利用亞馬遜的AI模型訓練平臺SageMaker AI中的，Amazon Sagemaker JumpStart通過腳本輕松一鍵式部署DeepSeek預訓練模…
閱讀更多...
Kubernetes是什么？為什么它是云原生的基石

Kubernetes是什么？為什么它是云原生的基石

從“手工時代”到“自動化工廠” 想象一下，你正在經營一家工廠。在傳統模式下，每個工人（服務器）需要手動組裝產品（應用），效率低下且容易出錯。而Kubernetes（k8s）就像一個…
閱讀更多...
Transformer 詳解：了解 GPT、BERT 和 T5 背后的模型

Transformer 詳解：了解 GPT、BERT 和 T5 背后的模型

目錄 什么是 Transformer？ Transformer如何工作？ Transformer 為何有用？ 常見問題解答：機器學習中的 Transformer 在技??術領域，突破通常來自于修復損壞的東西。制造第一架飛機的人研究過鳥類。萊特兄弟觀察了禿鷲如何在氣流中保持平衡，意識到穩定性比動力更重要。…
閱讀更多...
圖片webp格式動圖圖片

圖片webp格式動圖圖片

這是一個webp動圖1 這是一個webp動圖2 webp 圖像由gif 轉換 3
閱讀更多...
Spring(26) spring-security-oauth2 官方表結構解析

Spring(26) spring-security-oauth2 官方表結構解析

目錄 一、什么是 spring-security-oauth2？二、spring-security-oauth2 的表結構2.1 oauth_client_details 客戶端詳細信息表2.2 oauth_access_token 認證授權Token記錄表2.3 oauth_refresh_token 刷新授權Token記錄表2.4 oauth_code 授權Code記錄表 一、什么是 spri…
閱讀更多...
【R語言】plyr包和dplyr包

【R語言】plyr包和dplyr包

一、plyr包 plyr擴展包主要是實現數據處理中的“分割-應用-組合”（split-apply-combine）策略。此策略是指將一個問題分割成更容易操作的部分，再對每一部分進行獨立的操作，最后將各部分的操作結果組合起來。 plyr擴展包中的主要函…
閱讀更多...
【DeepSeek】DeepSeek小模型蒸餾與本地部署深度解析DeepSeek小模型蒸餾與本地部署深度解析

【DeepSeek】DeepSeek小模型蒸餾與本地部署深度解析DeepSeek小模型蒸餾與本地部署深度解析

一、引言與背景 在人工智能領域，大型語言模型（LLM）如DeepSeek以其卓越的自然語言理解和生成能力，推動了眾多應用場景的發展。然而，大型模型的高昂計算和存儲成本，以及潛在的數據隱私風險，限制了…
閱讀更多...
程序員也可以這樣賺錢

程序員也可以這樣賺錢

最近有朋友和我交流了關于程序員副業的想法，我想借這個機會對目前軟件開發常用的兼職平臺做一個梳理。 以下是程序員接副業的靠譜平臺推薦，結合政策合規性、平臺口碑及實際操作性整理，覆蓋國內外主流選擇： 一、國內綜合型平臺 程序…
閱讀更多...
【AI】在Ubuntu中使用docker對DeepSeek的部署與使用

【AI】在Ubuntu中使用docker對DeepSeek的部署與使用

這篇文章前言是我基于部署好的deepseek-r1:8b模型跑出來的 關于部署DeepSeek的前言與介紹 在當今快速發展的技術環境中，有效地利用機器學習工具來解決問題變得越來越重要。今天，我將引入一個名為DeepSeek 的工具，它作為一種強大的搜索引擎&a…
閱讀更多...
代碼隨想錄算法【Day39】

代碼隨想錄算法【Day39】

Day39 198.打家劫舍 class Solution { public:int rob(vector<int>& nums) {if (nums.size() 0) return 0;if (nums.size() 1) return nums[0];vector<int> dp(nums.size());dp[0] nums[0];dp[1] max(nums[0], nums[1]);for (int i 2; i < nums.size…
閱讀更多...
TCP三次握手全方面詳解

TCP三次握手全方面詳解

文章目錄 (1) 三次握手各狀態CLOSE狀態SYN_SENT狀態SYN_RECV狀態ESTABLISHED狀態 (2) 為什么握手時的seqnum是隨機值&#xff0c;以及acknum的功能(3) 三次握手中的半連接隊列&#xff08;SYN隊列&#xff09;和全連接隊列&#xff08;ACCEPT隊列&#xff09;半連接隊列全連接隊…
閱讀更多...
數據結構與算法-遞歸

數據結構與算法-遞歸

單路遞歸 二分查找 /*** 主函數&#xff1a;執行二分查找。* * param a 要搜索的數組&#xff08;必須是已排序的&#xff09;* param target 目標值* return 返回目標值在數組中的索引&#xff1b;如果未找到&#xff0c;則返回 -1*/ public static int binarySearch(int[] …
閱讀更多...
軟中斷和tasklet的區別是什么？

軟中斷和tasklet的區別是什么？

軟中斷和 tasklet 都是 Linux 內核中用于實現異步事件處理的機制&#xff0c;它們的主要區別如下&#xff1a; 實現機制 軟中斷&#xff1a;是一種基于軟件觸發的中斷機制&#xff0c;在內核中是一組靜態定義的、預先分配好的軟中斷向量。每個軟中斷都有一個唯一的編號和對應…
閱讀更多...
Termux安裝ssh實現電腦ssh

Termux安裝ssh實現電腦ssh

Termux下載 點擊下載 在 Termux 中安裝并使用 SSH&#xff0c;按照以下步驟操作&#xff1a; 1. 更新軟件包列表 pkg update && pkg upgrade2. 安裝 OpenSSH pkg install openssh3. 設置 SSH 密碼&#xff08;必須&#xff0c;否則無法使用 SSH 服務器&#xff09…
閱讀更多...
深入理解 C++17 std::is_swappable

深入理解 C++17 std::is_swappable

文章目錄 深入理解 C17 std::is_swappable引言std::is_swappable 概述std::is_swappable 的工作原理std::is_swappable 的變體注意事項結論 深入理解 C17 std::is_swappable 引言 在 C 編程中&#xff0c;交換兩個對象的值是一個常見的操作。為了確保代碼的通用性和安全性&am…
閱讀更多...
51單片機之馮·諾依曼結構

51單片機之馮·諾依曼結構

一、概述 8051系列單片機將作為控制應用最基本的內容集成在一個硅片上&#xff0c;其內部結構如圖4-1所示。作為單一芯片的計算機&#xff0c;它的內部結構與一臺計算機的主機非常相似。其中微處理器相當于計算機中的CPU&#xff0c;由運算器和控制器兩個部分構成&#xff1b;…
閱讀更多...
w~Transformer~合集5

w~Transformer~合集5

我自己的原文哦~ https://blog.51cto.com/whaosoft/12406495 #transformer~x1 太可怕了都到6了 太強~~ DeepMind 表示&#xff0c;他們提出的算法蒸餾&#xff08;AD&#xff09;是首個通過對具有模仿損失的離線數據進行順序建模以展示上下文強化學習的方法。同時基于觀察…
閱讀更多...
c#對接deepseek 聊天AI接口

c#對接deepseek 聊天AI接口

注意&#xff1a;不是免費 對接文檔&#xff1a;對話補全 | DeepSeek API Docs 注冊地址&#xff1a;DeepSeek 申請key 在線請求示例 apifox deepseek - deepseek
閱讀更多...
最新文章

Copyright @ 2022~2023