DeepSpeek服務器繁忙？這幾種替代方案幫你流暢使用！（附本地部署教程）

作者：后端小肥腸

目錄

1. 前言

2. 解決方案

2.1. 納米AI搜索（第三方平臺）

2.2. Github（第三方平臺）

2.3. 硅基流動（第三方API）

3. 本地部署詳細步驟

3.1. 運行配置需求

3.2. 部署教程

4. DeepSpeek資料獲取

5. 結語

1. 前言

2023年ChatGPT掀起的AI颶風中，一家中國AI公司正以驚人的速度改寫行業格局——DeepSeek智能推理平臺上線首月用戶突破百萬，日均API調用量超10億次，其自研的MoE混合專家模型在中文語境下的推理速度較主流方案提升300%。這場技術狂歡背后，折射出AI產業發展的新圖景：大模型應用正從"云端漫步"轉向"地面競速"，推理效率成為決定AI服務成敗的關鍵勝負手。

DeepSeek的爆紅絕非偶然，其技術突破精準擊中了AI落地的三大痛點。通過動態負載均衡算法，平臺在10毫秒內完成計算資源調度；獨創的語義緩存機制使重復請求響應速度達到納秒級；更關鍵的是其混合精度量化技術，在保持98%模型精度的前提下，將推理能耗降低60%。這些創新讓企業客戶在電商推薦、金融風控等場景中真正體驗到"無感級"AI服務。

但是不知道大家發現沒有Deepspeek總是遇到下圖問題，網上的解釋為因為全球大量流量的涌入，再加上 DeepSeek 遭 X 國 IP 暴力攻擊，所以，目前官版的 DeepSeek 響應比較慢。

2. 解決方案

目前網上能搜羅的解決方案無非就是第三方平臺和第三方API，我這里列舉幾
個。

2.1. 納米AI搜索（第三方平臺）

App：

下圖中滿血版R1模型提問要20納米一次，要不要用，怎么用就看自己取舍了（說實話我覺得豆包就挺好用的了，我手機上相關的APP就一個豆包，過年下載了DeepSpeek由于總是服務器繁忙已經卸載了）。

網頁版本：納米AI

2.2. Github（第三方平臺）

網址：Sign in to GitHub · GitHub?

界面如下所示，需要手動拉滿Max Tokens：

在此頁面上，你可以找到以下資源：

  • 源代碼：DeepSeek R1模型的實現代碼，包括模型架構、訓練代碼和推理代碼。

  • 模型權重：預訓練的模型權重文件，方便你直接加載模型進行推理或微調。

  • 技術文檔：詳細的文檔，介紹模型的設計理念、訓練過程和使用方法。

  • 示例代碼：提供了如何在不同環境下使用DeepSeek R1模型的示例，幫助你·快速上手。

此外，GitHub頁面還包含了“Issues”部分，你可以在這里查看和提交與DeepSeek R1模型相關的問題和建議。例如，有用戶詢問如何在PC或移動設備上部署DeepSeek R1/V3精簡版，以及API是否可以調用本地知識庫等問題。

2.3. 硅基流動（第三方API）

硅基流動（SiliconCloud）是一家知名的AI技術公司，曾為用戶推薦過ComfyUI BizyAir插件。近期，他們與華為云合作，推出了基于昇騰云服務的DeepSeek R1模型API服務。這一服務旨在為開發者提供高效、穩定的AI模型推理能力，滿足大規模生產環境的需求。

通過SiliconCloud的API，開發者可以輕松接入DeepSeek R1模型，享受零部署門檻的便利。此外，SiliconCloud還提供了詳細的API文檔，幫助開發者快速上手，接下來就給大家演示怎么基于第三方API使用DeepSpeek：

1. 登錄硅基流動注冊賬號

首先，訪問SiliconCloud的官方網站，點擊注冊按鈕，按照提示完成注冊流程。

2. 提取API key

登錄后，進入用戶中心，找到API密鑰選項，點擊新建API秘鑰。生成后，請妥善保存該密鑰。

3. 安裝客戶端軟件

如果你要在客戶端應用中體驗 DeepSeek R1 模型，你可以選擇以下產品：

大模型客戶端應用：

  • ChatBox
  • Cherry Studio
  • OneAPI
  • NextChat

代碼生成應用：

  • Cursor
  • Windsurf
  • Cline

大模型應用開發平臺：

  • Dify

AI知識庫：

  • Obsidian AI
  • FastGPT

翻譯插件：

  • 沉浸式翻譯：
  • 歐路詞典：

以Cherry Studio為例，你可以訪問其官網（Cherry Studio - 全能的AI助手），按照步驟下載安裝對應版本的客戶端。

4. 配置API

運行客戶端軟件后，進入設置界面，找到SiliconCloud的API配置項。在API密鑰字段中輸入你在SiliconCloud獲取的API密鑰。然后，選擇DeepSeek R1模型，保存設置。完成后，你即可開始使用DeepSeek R1模型進行交互。

3. 本地部署詳細步驟

本地部署開源大模型具有以下優勢：

  • 更穩定、更快的響應速度：本地部署減少了對網絡連接的依賴，避免了因網絡延遲導致的響應速度下降。

  • 模型可控性：根據自身需求對模型進行定制和優化，提高模型的適用性和性能。

  • 數據安全：在本地環境中處理數據，避免了將敏感信息上傳至云端，降低了數據泄露的風險。

  • 成本控制：無限使用，無需支付云服務的訂閱費用，可降低使用成本。

  • 靈活性：可以自由選擇和切換不同的模型，滿足多樣化的應用需求。

  • 離線運行：在本地部署后，即使沒有網絡連接，也可以使用模型。

3.1. 運行配置需求

如果電腦的顯存不夠用，可以通過量化來減少對顯存的需求。量化就是把模型的參數從較高的精度（比如32位）轉換為較低的精度（比如8位），這樣可以節省顯存空間，讓你的電腦能夠運行更大的模型。舉個例子，如果你的電腦顯存是8GB，而你想使用7b參數的模型，但顯存不足，那么通過量化處理后，你就可以在不增加硬件的情況下，使用這個大模型。

簡而言之，量化可以幫助你在顯存有限的情況下運行更強大的模型，是優化顯存使用的有效方法。如果你不確定自己是否需要量化，可以參考下面的顯卡顯存列表來判斷自己電腦的顯存是否足夠運行所需的模型。

顯存大小顯卡型號
3GBGTX 1060 3GB
4GBGTX 1050 Ti
6GBGTX 1060 6GB, RTX 2060 6GB, RTX 3050 (6GB)
8GBGTX 1080, GTX 1070 Ti, RTX 2080 SUPER, RTX 2080, RTX 2070 SUPER, RTX 2070, RTX 2060, RTX 2060 SUPER, RTX 3070, RTX 3070 Ti, RTX 3060 Ti, RTX 3060 (8GB), RTX 3050 (8GB), RTX 4080, RTX 4060 Ti, RTX 4060, RTX 5070
11GBGTX 1080 Ti, RTX 2080 Ti
12GBRTX 2060 12GB, RTX 3060 (12GB), RTX 4070 Ti SUPER, RTX 4070, RTX 5070 Ti
16GBRTX 4060 Ti 16GB, RTX 5080
24GBRTX 3090 Ti, RTX 3090, RTX 4080, RTX 4090
32GBRTX 5090

根據電腦配置選擇合適的模型下載，下面列出了不同大小的DeepSeek模型對應的顯存和內存需求。請根據你的顯卡配置和MacOS系統的內存選擇合適的模型。

模型大小?

?

顯存需求（FP16 推理）?

顯存需求（INT8 推理）?

推薦顯卡?

MacOS 需要的 RAM?

1.5b?

3GB?

2GB?

RTX 2060/MacGPU 可運行?

8GB?

7b?

14GB?

10GB?

RTX 3060 12GB/4070 Ti?

16GB?

8b?

16GB?

12GB?

RTX 4070/MacGPU 高效運行?

16GB?

14b?

28GB?

20GB?

RTX 4090/A100-40G?

32GB?

32b?

64GB?

48GB?

A100-80G/2xRTX4090?

64GB?

如何看顯存，可以自行百度，我演示一下我的電腦是怎么看的，打開NVIDIA控制面板的系統信息：

從圖片中顯示的信息來看，我的顯卡是Quadro P620，顯存為4GB GDDR5（4GB）?，我能用的模型大小為1.5b（。。。今年努力買個4090）

3.2. 部署教程

本地部署教程分為需要設置環境版本（Ollama）和不需要設置環境（針對顯存不足）（LM Studio），我這里只講不需要設置環境怎么部署(Ollama的教程可以去網上自己找一下）。

1. 進入官網下載 LM Studio

地址：LM Studio - Discover, download, and run local LLMs?

這里可以看到是支持「DeepSeek」大模型的，當然也支持其他的開源大模型，原理是一樣的，后續小伙伴想測試其他的模型，這篇學會了，其他也就通了。?

?2. 安裝LM Studio

安裝過程很簡單，這里不展開講。

3.?設置中文

點擊右下角設置按鈕，將軟件語言設置為中文。

4. 修改模型文件夾

點擊我的模型，修改模型存放目錄

我改到了F盤：

5. 下載模型

打開「魔搭社區」下載，網站是阿里的。

?進入你想下載的模型：

點擊模型文件 ，在這些GGUF量化模型的文件名中，Q后面的數字（如Q3、Q4、Q6、Q8）代表模型的量化位數，用于指示模型權重的量化精度。

  • 較低位數（如Q3、Q4）：

    • 模型文件較小，占用的存儲空間和內存更少。
    • 推理速度更快，適合在資源有限的設備（如移動端、嵌入式設備）上運行。
    • 但由于量化損失較大，模型的精度可能會有所下降。

  • 較高位數（如Q6、Q8）：

    • 精度接近原始未量化模型，推理效果更好。
    • 文件大小較大，推理速度相對較慢。

如果你需要盡可能小且運行速度更快的模型（例如在低端GPU或CPU上運行），可以選擇Q3或Q4。如果你更注重推理效果，并希望接近FP16（浮點模型）的精度，可以選擇Q6或Q8。根據需求選擇合適的量化位數，然后直接點擊下載即可。

6. 配置模型

將下載好的模型放置到模型目錄中：

7. 使用

回到聊天界面，選擇剛剛下載的大模型加載

點擊對應模型會彈出參數頁面，根據自己需要調整即可：

加載完成后，選擇右上角燒杯的圖標，我們可以設置提示詞，類似智能體?

現在來提問一下：

4. DeepSpeek資料獲取

如果你需要獲取關于DeepSeek的相關資料，可以通過關注我的公眾號【后端小肥腸】來領取《DeepSeek 15天指導手冊——從入門到精通》。

5. 結語

在使用DeepSeek模型時，無論是選擇第三方API還是進行本地部署，都需要根據自己的實際硬件配置做出最合適的決策。如果你的電腦配置較低，顯存不足，可以選擇通過第三方平臺或API來避免復雜的部署過程，快速享受到AI推理服務。而對于那些硬件條件較好的用戶，本地部署則提供了更多的控制權和靈活性，不僅可以節省長期的云服務費用，還能讓你完全掌控數據和模型的運行。

對于我個人而言，由于硬件配置的限制，目前使用的是第三方API，但對于有更強大硬件資源的開發者，本地部署無疑是一個更具吸引力的選項。無論如何，AI技術的進步已經開始改變我們的工作和生活方式，未來會有更多的可能性等著大家去探索。

希望這篇文章能為你的決策提供參考，祝愿大家在AI的世界里越走越遠。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/diannao/72333.shtml
繁體地址，請注明出處：http://hk.pswp.cn/diannao/72333.shtml
英文地址，請注明出處：http://en.pswp.cn/diannao/72333.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

prisma+supabase報錯無法查詢數據

prisma+supabase報錯無法查詢數據

解決方案，在DATABASE_URL后面增加?pgbouncertrue
閱讀更多...
c語言中return 數字代表的含義

c語言中return 數字代表的含義

return 數字的含義：表示函數返回一個整數值，通常用于向調用者（如操作系統或其他程序）傳遞程序的執行狀態或結果。 核心規則： return 0： 含義：表示程序或函數正常結束。 示例： int m…
閱讀更多...
Spark內存迭代計算

Spark內存迭代計算

一、寬窄依賴 窄依賴：父RDD的一個分區數據全部發往子RDD的一個分區 寬依賴：父RDD的一個分區數據發往子RDD的多個分區，也稱為shuffle 二、Spark是如何進行內存計算的？DAG的作用？Stage階段劃分的作用？ &a…
閱讀更多...
Linux知識-第一天

Linux知識-第一天

Linux的目錄機構為一個樹型結構 其沒有盤符這個概念，只有一個根目錄，所有文件均在其之下 在Linux系統中，路徑之間的層級關系 使用 / 開頭表示根目錄，后面的表示層級關系 Linux命令入門 Linux命令基礎 Linux命令通用格式 comman…
閱讀更多...
QT實現單個控制點在曲線上的貝塞爾曲線

QT實現單個控制點在曲線上的貝塞爾曲線

最終效果: 一共三個文件 main.cpp #include <QApplication> #include "SplineBoard.h" int main(int argc,char** argv) {QApplication a(argc, argv);SplineBoard b;b.setWindowTitle("標準的貝塞爾曲線");b.show();SplineBoard b2(0.0001);b2.sh…
閱讀更多...
繪制思維導圖畫布選型

繪制思維導圖畫布選型

在實現思維導圖/知識圖譜的繪制時&#xff0c;選擇合適的「畫布」技術方案至關重要。以下是不同技術路線的對比分析和推薦方案&#xff1a; 一、技術方案對比 技術類型實現方式優點缺點適用場景普通DOM元素使用<div>CSS布局&#x1f539; 開發簡單&#x1f539; 天然支持…
閱讀更多...
運維Splunk面試題及參考答案

運維Splunk面試題及參考答案

目錄 通過轉發器導入數據的優勢有哪些（如帶寬控制、負載均衡等） 描述 Universal Forwarder 與 Heavy Forwarder 的差異 如何配置轉發器實現數據的過濾與預處理 轉發器的本地緩存機制如何保證數據可靠性 如何通過部署服務器統一管理多個轉發器的配置 什么是 “查找表（L…
閱讀更多...
年后寒假總結及計劃安排

年后寒假總結及計劃安排

年后寒假總結 年后主要學習了微服務&#xff0c;nacos (服務注冊中心)&#xff0c;feign&#xff08;遠程調用&#xff09;&#xff0c;網關&#xff0c;雙token&#xff08;相較于之前更加規范&#xff0c;更加符合企業級&#xff09;&#xff0c;配置管理 &#xff0c;mybati…
閱讀更多...
word中交叉引用多篇參考文獻格式[1-2]或[1-4]操作

word中交叉引用多篇參考文獻格式[1-2]或[1-4]操作

劃重點 更改左域名&#xff0c;輸入 \#"[0" 更改中間域名&#xff0c;輸入\#"" 更改右域名&#xff0c;輸入 \#"0]" 1.[2-3]格式 首先點擊交叉引用&#xff0c;引用參考文獻 右擊鼠標&#xff0c;點擊切換域代碼&#xff0c;對于左域名 刪除 * …
閱讀更多...
【銀河麒麟高級服務器操作系統】服務器測試業務耗時問題分析及處理全流程分享

【銀河麒麟高級服務器操作系統】服務器測試業務耗時問題分析及處理全流程分享

更多銀河麒麟操作系統產品及技術討論&#xff0c;歡迎加入銀河麒麟操作系統官方論壇 https://forum.kylinos.cn 了解更多銀河麒麟操作系統全新產品&#xff0c;請點擊訪問 麒麟軟件產品專區&#xff1a;https://product.kylinos.cn 開發者專區&#xff1a;https://developer…
閱讀更多...
opencv 模板匹配方法匯總

opencv 模板匹配方法匯總

在OpenCV中&#xff0c;模板匹配是一種在較大圖像中查找特定模板圖像位置的技術。OpenCV提供了多種模板匹配方法&#xff0c;通過cv2.matchTemplate函數實現&#xff0c;該函數支持的匹配方式主要有以下6種&#xff0c;下面詳細介紹每種方法的原理、特點和適用場景。 1. cv2.T…
閱讀更多...
NAT，代理服務，內網穿透

NAT，代理服務，內網穿透

NAT 把報文的源IP替換為途徑路由器的WAN口IP NAPT 如何將數據從公網轉回給內網的主機&#xff1f;通過NAPT&#xff08;轉換表&#xff09;來實現&#xff0c;每次從內網到公網&#xff0c;公網到內網都會根據轉換表來進行 細節&#xff1a; NAT轉換時&#xff0c;值替換源…
閱讀更多...
大模型分布式訓練和優化

大模型分布式訓練和優化

1. 分布式訓練概述 隨著語言模型參數量和所需訓練數據量的急速增長，單個機器上有限的資源已無法滿足大語言模型訓練的要求。因此，設計分布式訓練（Distributed Training）系統來解決海量的計算和內存資源需求問題變得至關重要。 分布式訓練是指將機器學習或深度學習模型訓練任…
閱讀更多...
第三方機構有哪些接口?

第三方機構有哪些接口?

1&#xff0c;網銀接口。2&#xff0c;代扣接口。3&#xff0c;POS接口。4&#xff0c;快捷支付接口 1.網銀接口 第三方支付平臺連接網銀接口&#xff0c;進行支付跳轉時&#xff0c;第三方支付平臺充當了一個網關的角色&#xff0c;或者充當了銀行的代 理。 2.代扣接口 銀…
閱讀更多...
JUnit 版本影響 Bean 找不到

JUnit 版本影響 Bean 找不到

JUnit 版本影響 Bean 找不到 在為實現類編寫測試類時&#xff0c;在測試類中使用構造器注入 Bean 時&#xff0c;提示找不到 Bean&#xff0c;代碼如下&#xff1a; Service public class WeChatServiceImpl implements IWeChatService {Overridepublic String getNumber(Str…
閱讀更多...
夸父工具箱(安卓版) 手機超強工具箱

夸父工具箱(安卓版) 手機超強工具箱

如今&#xff0c;人們的互聯網活動日益頻繁&#xff0c;導致手機內存即便頻繁清理&#xff0c;也會莫名其妙地迅速填滿&#xff0c;許多無用的垃圾信息悄然占據空間。那么&#xff0c;如何有效應對這一難題呢&#xff1f;答案就是今天新推出的這款工具軟件&#xff0c;它能從根…
閱讀更多...
《深度學習進階》第7集：深度實戰 通過訓練一個智能體玩游戲 來洞察 強化學習（RL）與決策系統

《深度學習進階》第7集：深度實戰 通過訓練一個智能體玩游戲 來洞察 強化學習（RL）與決策系統

深度學習進階 | 第7集&#xff1a;深度實戰 通過訓練一個智能體玩游戲 來洞察 強化學習&#xff08;RL&#xff09;與決策系統 在深度學習的廣闊領域中&#xff0c;強化學習&#xff08;Reinforcement Learning, RL&#xff09;是一種獨特的范式&#xff0c;它通過智能體與環境…
閱讀更多...
Linux端口映射

Linux端口映射

1. 方法一使用firewalld 1.1 開啟偽裝IP firewall-cmd --permanent --add-masquerade 1.2 配置端口轉發&#xff0c;將到達本機的12345端口的訪問轉發到另一臺服務器的22端口 firewall-cmd --permanent --add-forward-portport12345:prototcp:toaddr192.168.172.131:toport…
閱讀更多...
文本處理Bert面試內容整理-BERT的基本原理是什么？

文本處理Bert面試內容整理-BERT的基本原理是什么？

BERT（Bidirectional Encoder Representations from Transformers）的基本原理可以從以下幾個方面來理解： 1. 雙向上下文建模 BERT的一個核心創新是它通過雙向（bidirectional）建模上下文來理解詞語的意義。傳統的語言模型（如GPT）是單向的，即它們只考慮文本的左到右（或右…
閱讀更多...
MAC 本地搭建部署 dify（含 github訪問超時+Docker鏡像源拉取超時解決方案）

MAC 本地搭建部署 dify（含 github訪問超時+Docker鏡像源拉取超時解決方案）

目錄 一、什么是 dify&#xff1f; 二、安裝 docker 1. 什么是 docker&#xff1f; 2. docker下載地址 三、安裝 dify 1. dify下載地址 2.可能遇到問題一&#xff1a; github訪問超時 3.下載后完成解壓 4.進入到 cmd 終端環境&#xff0c;執行下面三個命令 5.可能遇到…
閱讀更多...
最新文章

Copyright @ 2022~2023