【作者主頁】Francek Chen
【專欄介紹】 ? ? ?人工智能與大模型應用 ? ? ? 人工智能(AI)通過算法模擬人類智能,利用機器學習、深度學習等技術驅動醫療、金融等領域的智能化。大模型是千億參數的深度神經網絡(如ChatGPT),經海量數據訓練后能完成文本生成、圖像創作等復雜任務,顯著提升效率,但面臨算力消耗、數據偏見等挑戰。當前正加速與教育、科研融合,未來需平衡技術創新與倫理風險,推動可持續發展。
文章目錄
- 前言
- 一、為什么需要本地部署大模型
- 二、DeepSeek R1簡介
- DeepSeek-R1 Models
- DeepSeek-R1-Distill Models
- 三、在本地計算機部署DeepSeek R1
- (一)安裝Ollama
- (二)下載DeepSeek R1
- (三)運行DeepSeek R1
- (四)安裝Python
- (五)安裝Microsoft Visual C++ Build Tools
- (六)使用Open WebUI增強交互體驗
- (七)每次使用大模型的步驟
- (八)取消Ollama的開機自動啟動
- 小結
前言

2025年1月,中國春節期間,DeepSeek爆火,稱為全球最炙手可熱的大模型。DeepSeek一路 “狂飆”,在美國科技界和美股市場掀起驚濤駭浪,1月27日,美國三大股指開盤即暴跌,英偉達、微軟、谷歌母公司Alphabet、Meta等美國主要科技股均遭遇股市地震,其中英偉達跌近17%,單日市值蒸發約6000億美元,創美股最高紀錄。
這里以DeepSeek為例介紹在自己本地計算機上部署大模型的方法。操作過程中,遇到很多錯誤,借助于豆包大模型,把每個錯誤都解決了,順利完成了安裝過程。我的筆記本電腦是Windows10操作系統。實際上,只要電腦具有8GB內存和30GB可用磁盤空間即可安裝最小版本的DeepSeek R1大模型。
特別強調,在自己本地計算機上部署DeepSeek R1大模型,不需要讀者具備任何計算機基礎知識,也不需要掌握任何編程知識,只要會使用Windows操作系統就可以,按照本文給出的步驟,一步步執行,就可以順利完成所有操作。
一、為什么需要本地部署大模型
一般而言,DeepSeek、文心一言、豆包、Kimi等在線的大模型,功能非常強大,完全可以很好滿足我們的需求。所以,大多數情況下,我們不需要在本地部署大模型。但是,當我們需要保護個人數據隱私時,也可以考慮在本地部署大模型。
和直接使用在線大模型(豆包、Kimi等)相比,在本地部署大模型具有以下優勢:
- 數據隱私與安全性。第一,數據本地存儲:所有數據運算和存儲均在本地完成,不會上傳至云端,有效避免了數據在傳輸和云端存儲過程中可能帶來的隱私泄露風險。第二,完全掌控數據:用戶可以完全掌控數據的使用和存儲,確保數據不被未經授權的訪問或用于其他目的。第三,隱私保護機制:支持訪問權限控制,進一步增強數據安全性。
- 定制化與靈活性。第一,自定義知識庫訓練:用戶可以根據自己的需求對模型進行自定義知識庫訓練,進一步提升模型在特定領域的性能。第二,靈活調整模型參數:根據業務需求靈活調整模型參數和功能,滿足不同場景下的個性化需求。第三,開源靈活性:開源模型一般都允許用戶無限制地進行微調或將其集成到自己的項目中。
- 離線與高效使用。第一,離線訪問:本地部署后,無需依賴網絡連接,適合旅行或網絡不穩定的場景,隨時隨地可用。第二,避免服務器繁忙:再也不用擔心“服務器繁忙”的問題,提升使用體驗。
- 成本與資源優化。第一,成本可控:長期使用比云服務更經濟,尤其適合高頻調用場景。第二,硬件友好:對硬件資源要求較低,可在較少GPU或高級CPU集群上運行,資源效率顯著。
- 避免使用限制。本地部署避免了可能出現的使用限制,不受未來商業化影響,可永久免費使用。通過本地部署開源大模型,用戶不僅能夠享受強大的AI功能,還能在數據隱私、定制化需求和使用成本等方面獲得顯著優勢。
二、DeepSeek R1簡介
首先需要說明的是,大模型的訓練過程需要耗費大量的計算資源(比如投入上億元構建計算機集群去訓練大模型),訓練成本比較昂貴,個人是無法承擔的。但是,訓練得到的大模型,部署到計算機上,就不需要那么高的計算資源要求。但是,即使如此,在DeepSeek出現之前,很多市場上的大模型產品都是“貴族”模型,“段位”很高,通常需要依賴高端的硬件,配置大量的GPU,普通個人計算機一般很難運行大模型。2025年1月20日,我國杭州深度求索公司的DeepSeek R1大模型正式發布,它是一個基于深度學習的推薦系統模型,通常用于處理推薦任務,如商品推薦、內容推薦等。
Deepseek R1的發布,標志著大模型產品的“平民”時代已經到來,它大大降低了對計算機硬件的要求,可以部署在普通的個人計算機上,甚至部署在手機等便攜式設備中。Deepseek采用了較為簡潔高效的模型架構,去除了一些不必要的復雜結構和計算,在保證模型性能的基礎上,降低了對計算資源的需求,使模型在本地計算機上運行更加輕松。通過先進的量化壓縮技術,Deepseek將模型的參數進行壓縮存儲和計算,大大減少了模型所需的存儲空間和計算量。2025年1月30日,微軟公司宣布支持在Win11電腦本地運行DeepSeek R1大模型。
DeepSeek R1對硬件資源比較友好,對不同硬件配置有良好的適應性,能根據用戶計算機硬件配置選擇合適的模型版本。入門級設備擁有4GB 存和核顯就能運行1.5B(Billion,十億,大模型參數的數量)版本;進階設備8GB內存搭配4GB顯存就能駕馭7B版本;高性能設備則可選擇32B版本。而且,DeepSeek R1支持低配置電腦,即使是沒有獨立顯卡的低配置電腦,只要有足夠的空余硬盤空間,如部署最大的6710億參數的大模型需要至少1TB的空余空間,也能完成部署。
DeepSeek R1可以滿足用戶的數據隱私需求,本地部署能將所有數據運算都限制在本地,數據不會上傳至云端,可有效避免數據傳輸和存儲在云端可能帶來的隱私泄露風險,滿足用戶對數據安全和隱私保護的要求。DeepSeek R1還可以滿足定制需求,用戶可以根據自己的需求對模型進行自定義知識庫訓練,進一步提升模型在特定領域的性能。
我們介紹了我們的第一代推理模型DeepSeek-R1-zero和DeepSeek-R1。DeepSeek-R1-Zero是一個通過大規模強化學習(RL)訓練的模型,沒有監督微調(SFT)作為初步步驟,在推理方面表現出卓越的性能。有了強化學習,DeepSeek-R1-Zero自然就出現了許多強大而有趣的推理行為。然而,DeepSeek-R1-Zero遇到了諸如無休止的重復、可讀性差和語言混合等挑戰。為了解決這些問題并進一步提高推理性能,引入了DeepSeek-R1,它在強化學習之前包含了冷啟動數據。DeepSeek-R1在數學、代碼和推理任務方面的性能可與OpenAI-o1媲美。為了支持研究社區,目前開源了DeepSeek-R1-Zero,DeepSeek-R1,以及基于Llama和Qwen的DeepSeek-R1提煉的六個密集模型。DeepSeek-R1-Distill-Qwen-32B在各種基準測試中優于OpenAI-o1-mini,為密集模型實現了新的最先進的結果。
DeepSeek以開源的特性和極低的成本,在數學、編程、自然語言推理等任務上表現出色,性能不亞于美國頂級AI模型。特別是DeepSeek-R1,通過創新性運用強化學習技術,以極少量標注數據實現了推理能力的跨越式提升。在數學、編程、語言理解等核心能力上,完美比肩OpenAI-o1。這一系列創新成果不僅得到了行業的廣泛認可,也讓世界看到了中國AI技術的崛起之勢。
DeepSeek-R1 Models
Model | #Total Params | #Activated Params | Context Length | Download |
---|---|---|---|---|
DeepSeek-R1-Zero | 671B | 37B | 128K | 🤗 HuggingFace |
DeepSeek-R1 | 671B | 37B | 128K | 🤗 HuggingFace |
DeepSeek-R1- zero和DeepSeek-R1是基于DeepSeek-V3-Base訓練的。關于模型架構的更多細節,請參考DeepSeek-V3存儲庫。
DeepSeek-R1-Distill Models
Model | Base Model | Download |
---|---|---|
DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct | 🤗 HuggingFace |
DeepSeek-R1-Distill模型基于開源模型進行微調,使用DeepSeek-R1生成的樣本。稍微改變了它們的配置和標記器。
三、在本地計算機部署DeepSeek R1
本節將詳細介紹如何通過Ollama和Open WebUI在本地計算機環境中部署DeepSeek R1大模型。本地計算機至少需要8GB內存和30GB剩余磁盤空間。
(一)安裝Ollama
Ollama是一個開源的本地化大模型部署工具,旨在簡化大型語言模型(LLM)的安裝、運行和管理。它支持多種模型架構,并提供與OpenAI兼容的API接口,適合開發者和企業快速搭建私有化AI服務。
訪問Ollama官網(https://ollama.com/), 點擊“Download”(如圖2所示),根據操作系統(Windows、macOS或Linux)下載自己操作系統對應的安裝包(如圖3所示),比如,Windows用戶可以點擊“Windows”圖標,然后,點擊“Download for Windows”下載安裝包。需要注意的是,對于Windows系統,這里僅支持Windows10及其以上版本。
下載完成以后,雙擊安裝包文件“OllamaSetup.exe”完成安裝。安裝完成后,在Windows系統中,輸入快捷鍵Win + R,再在彈出的對話框中輸入“cmd”并回車,打開cmd命令行工具窗口,輸入以下命令驗證是否安裝成功:
ollama --version
如果顯示Ollama版本號,說明安裝成功(如圖4所示)。
(二)下載DeepSeek R1
Ollama已經在第一時間支持DeepSeek R1,模型下載地址是https://ollama.com/library/deepseek-r1。 請根據自己的顯存選擇對應的模型,建議選擇參數較少、體積最小的1.5B版本(如果計算機的配置較高,也可以選擇參數較大的版本),這里的B是英文Billion(十億),表示參數模型的參數規模,1.5B表示大模型的參數量是15億。
當然,我們可以不用到這個下載地址手動下載,只需要在cmd命令行窗口中執行如下命令就可以自動下載DeepSeek R1大模型:
ollama run deepseek-r1:1.5b
該命令會自動下載并加載模型,下載時間取決于網絡速度和模型大小。注意,如果在下載過程中,出現長時間停滯不動,可以敲擊幾次回車鍵。下載完成后,可以使用以下命令查看模型信息:
ollama list
該命令會列出本地已下載的模型及其狀態。
(三)運行DeepSeek R1
可以在cmd命令行窗口中執行如下命令啟動DeepSeek R1大模型:
ollama run deepseek-r1:1.5b
啟動后,模型會進入交互模式,用戶可以直接輸入問題并獲取回答。在交互模式下,可以測試DeepSeek R1的多種功能(如圖6所示),例如:
- 智能客服:輸入常見問題,如“如何學習人工智能?”。
- 內容創作:輸入“請為我撰寫一篇介紹沙縣小吃的宣傳文案”。
- 編程輔助:輸入“用Python繪制一個柱狀圖”。
- 教育輔助:輸入“解釋牛頓第二定律”。
cmd窗口關閉以后,DeepSeek R1大模型就停止運行了。下次再次使用時,需要再次在cmd窗口中執行如下命令啟動DeepSeek R1大模型:
ollama run deepseek-r1:1.5b
這種以命令行的方式與大模型進行對話,顯然不太友好,因此,下面介紹如何通過瀏覽器來與大模型進行對話,這里就需要安裝Open WebUI,由于Open WebUI依賴于Python環境,因此,在安裝Open WebUI之前,需要首先安裝Python環境(注意,只是需要安裝Python環境,并不需要學習Python語言,讀者可以完全不會Python語言,大模型的安裝和使用過程完全不會用到Python語言)。如果讀者沒有使用瀏覽器與大模型對話的需求,可以不用學習下面的安裝步驟。
(四)安裝Python
Python(發音[?pa?θ?n])是1989年由荷蘭人吉多·范羅蘇姆(Guido van Rossum)發明的一種面向對象的解釋型高級編程語言。Python的第一個公開發行版于1991年發行,在2004年以后,Python的使用率呈線性增長,并獲得“2021年TIOBE最佳年度語言”稱號,這是Python第5次被評為“TIOBE最佳年度語言”,它也是獲獎次數最多的編程語言。發展到今天,Python已經成為最受歡迎的程序設計語言之一。
Python可以用于多種平臺,包括Windows、Linux和MacOS等。這里使用的Python版本是3.12.2(該版本于2024年2月6日發布),不要安裝最新的3.13版本。請到Python官方網站下載(官網下載地址)與自己計算機操作系統匹配的安裝包,比如,64位Windows操作系統可以下載python-3.12.2-amd64.exe。運行安裝包開始安裝,在安裝過程中,要注意選中“Add python.exe to PATH”復選框,如圖7所示,這樣可以在安裝過程中自動配置PATH環境變量,避免了手動配置的煩瑣過程。
然后,點擊“Customize installation”繼續安裝,在選擇安裝路徑時,可以自定義安裝路徑,比如設置為“C:\python312”,并在“Advanced Options”下方選中“Install Python 3.12 for all users”(如圖8所示)。
安裝完成以后,需要檢測是否安裝成功。可以打開Windows操作系統的cmd命令界面,然后執行如下命令打開Python解釋器:
cd C:\python312
python
如果出現圖9所示信息,則說明Python已經安裝成功。
(五)安裝Microsoft Visual C++ Build Tools
備注:對于不同的計算機環境,本步驟可能不是必須的,讀者可以先跳到第6步繼續操作,如果在下面的第6步遇到報錯信息說“缺少Microsoft Visual C++ Build Tools”,可以再回到本步驟安裝Microsoft Visual C++ Build Tools,然后再執行第6步的安裝。
在安裝Open WebUI之前,在有些計算機上可能還需要安裝Microsoft Visual C++ Build Tools,否則,安裝Open WebUI過程會報錯。可以到如下網址下載該工具安裝包vs_BuildTools.exe:https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/
下載完成以后,雙擊安裝包文件vs_BuildTools.exe進行安裝,在彈出的安裝界面中(如圖10所示),在界面左上角的“桌面應用和移動應用”下方,選中“使用C++的桌面開發”,然后,點擊界面右下角的“安裝”按鈕,完成安裝。
(六)使用Open WebUI增強交互體驗
只要是支持Ollama的WebUI都可以,如Dify、AnythingLLM等。這里使用比較簡單而且也是與Ollama結合比較緊密的Open WebUI。
可以在cmd命令行窗口中執行如下命令安裝Open WebUI(這里使用國內清華大學的安裝源鏡像,這樣可以加快安裝速度):
pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple
注意,如果在下載和安裝過程中,出現長時間停滯不動,可以敲擊幾次回車鍵。
可以執行如下命令啟動Open WebUI服務:
open-webui serve
注意,如果啟動以后,看到下面界面(如圖11所示),說明還沒有啟動成功,需要繼續等待。可以敲擊幾次回車。
在繼續等待過程中,可能屏幕上會出現一些錯誤信息,里面會包含如下內容:
requests.exceptions.ConnectTimeout: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443)
這個錯誤信息說明,啟動過程連接Hugging Face Hub失敗。Hugging Face Hub網站在國外,所以,經常會連接失敗,所以,導致open-webui啟動過程始終停止不動。
直到出現下面屏幕信息以后(如圖12所示),才說明啟動成功了。
啟動后,在瀏覽器中訪問http://localhost:8080/即可進入Open WebUI界面。如果網頁顯示“拒絕連接”,無法訪問Open WebUI界面,一般是由于你的計算機開啟了Windows防火墻,可以點擊“開始”菜單按鈕,在彈出的界面中,在頂部的搜索框中輸入“安全中心”(如圖13所示),打開“Windows安全中心”,點擊左側的“防火墻和網絡保護”,在右側的“域網絡”中,關閉防火墻。
Open WebUI支持中文界面,可以在設置中調整語言,默認是你的Windows系統當前正在使用的語言。首先,需要注冊一個管理員賬號(如圖14所示),然后,就可以開始使用了。
在Open WebUI界面中,選擇已下載的DeepSeek R1模型,即可開始對話測試。如圖15所示,可以在對話框中輸入“請介紹如何學習人工智能”然后回車,頁面就會給出DeepSeek R1的回答結果(如圖16所示)。
(七)每次使用大模型的步驟
當我們本次使用完大模型時,只需要關閉各個cmd命令行窗口,大模型就停止運行了。下次要再次使用時,還是按照一樣的步驟進行操作:
1. 啟動大模型
新建一個cmd命令行窗口,在cmd命令行窗口中執行如下命令啟動DeepSeek R1大模型:
ollama run deepseek-r1:1.5b
2. 啟動Open WebUI
再新建一個cmd命令行窗口,在cmd命令行窗口中執行如下命令啟動Open WebUI服務:
open-webui serve
3. 在瀏覽器中訪問大模型
在瀏覽器中訪問http://localhost:8080/即可進入Open WebUI界面,開始使用大模型。
(八)取消Ollama的開機自動啟動
前面步驟已經完成了DeepSeek R1大模型的部署,但是,你會發現,每次計算機關機以后,再次啟動計算機時,Ollama會開機自動啟動,導致占用計算機系統資源。當我們平時不使用DeepSeek R1時,為了讓Ollama不占用計算機系統資源,我們需要禁止Ollama開機自動啟動。
在Windows10系統中,輸入快捷鍵Win + R,再在彈出的對話框中輸入“msconfig”并回車,進入如圖17所示系統設置界面,點擊“啟動”選項卡,在這個選項卡中點擊“打開任務管理器”,進入如圖18所示的任務管理器界面,在界面中,找到“ollama.exe”,把鼠標指針放到“已啟動”上面,單擊鼠標右鍵,在彈出的菜單中點擊“禁用”,然后關閉任務管理器界面。經過這樣設置以后,Ollama以后就不會開機自動啟動了。
下次在使用DeepSeek時,仍然采用之前介紹的方法,在cmd命令行窗口中執行如下命令啟動DeepSeek R1大模型:
ollama run deepseek-r1:1.5b
小結
本文詳細介紹了如何在本地計算機上部署DeepSeek R1大模型,主要針對普通用戶和開發者,提供了一個簡便的安裝流程,并強調了本地部署大模型的優勢。首先,介紹了為什么需要本地部署大模型,包括數據隱私與安全、定制化與靈活性、離線使用、高效性、成本可控等多方面的優勢。相比于在線大模型,本地部署能夠有效保護用戶的隱私數據,避免信息泄露,并允許用戶根據實際需求對模型進行定制和調整,提升使用體驗。
接著,介紹了DeepSeek R1大模型的基本概念及其發布背景。DeepSeek R1是一個具有高效、低資源消耗特性的推薦系統模型,其優化了對計算資源的要求,使得普通的個人計算機也能承載其運行。特別是DeepSeek R1支持不同硬件配置的設備,適配不同規模的用戶需求。這一創新使得大規模AI模型的使用不再局限于高端硬件環境,普通用戶也能在本地計算機上運行。
本文核心部分詳細講解了通過Ollama和Open WebUI等工具進行DeepSeek R1部署的步驟。從安裝Ollama開始,用戶只需按照簡單的命令行操作,便能輕松完成模型的下載與運行。而對于更復雜的需求,如通過瀏覽器與模型進行互動,用戶可以安裝Python環境并結合Open WebUI實現更友好的操作界面。這一部分的講解深入淺出,即便沒有編程經驗的用戶也能輕松上手,按照步驟完成安裝與配置。
此外,還提到一些可能遇到的問題及其解決方案,確保用戶在遇到問題時能夠找到對應的解決方法。例如,針對下載過程中可能的停滯,提供了按回車鍵的操作提示;對于啟動失敗的情況,也給出了詳細的排查步驟。通過這些細致的提示,有效降低了用戶操作的復雜度和失敗率。
總結來說,本文為普通用戶提供了一個清晰、易懂的指南,幫助他們在本地計算機上部署并運行DeepSeek R1大模型。它不僅展示了如何通過簡單的工具和命令實現AI技術的本地化使用,也進一步說明了大模型應用的普及和便利性。通過這篇文章,用戶可以充分理解并享受到本地部署大模型帶來的數據安全、定制化、離線使用等多方面的優勢,促進了AI技術的民主化。
歡迎 點贊👍 | 收藏? | 評論? | 關注🤗