國產開源大模型追平甚至超越了CloseAI的o1模型,大國崛起時刻!!!
DeepSeek R1 本地部署指南
??在人工智能技術飛速發展的今天,本地部署AI模型成為越來越多開發者和企業關注的焦點。本文將詳細介紹如何在本地部署DeepSeek R1,同時涵蓋Ollama和Chatbox AI的安裝與配置。通過這些步驟,你可以在本地環境中高效地運行和使用這些強大的AI工具。
??一、DeepSeek簡介
??DeepSeek是一個專注于人工智能研究與應用的平臺,致力于提供高效、靈活且易于部署的AI解決方案。DeepSeek R1是其最新版本,支持多種AI模型的本地部署,能夠滿足不同場景下的需求。https://www.deepseek.com/它具備以下特點:
??1. 輕量級:模型經過優化,適合在資源有限的設備上運行。
??2. 高效推理:能夠在低延遲下進行實時推理。
??3. 可擴展性:支持自定義訓練和微調,滿足不同場景需求。
??二、Ollama簡介與安裝
??Ollama是一個開源的AI模型管理工具,用于簡化AI模型的部署和管理。它支持多種模型格式,能夠與DeepSeek R1無縫集成。以下是Ollama的安裝步驟:
??1. 下載Ollama:訪問Ollama的官方網站或GitHub頁面,下載最新版本的安裝包:https://ollama.com/download
??2. 安裝Ollama:
????(1)對于Windows系統,雙擊安裝包并按照提示完成安裝。
????(2)對于Linux系統,使用以下命令安裝:
??????curl -fsSL https://ollama.com/install.sh | sh
??3. 啟動Ollama服務:安裝完成后,運行以下命令查看是否安裝成功:
??????ollama -v
??4. 驗證安裝:打開瀏覽器,訪問http://localhost:11434,如果頁面顯示Ollama的界面,則說明安裝成功。
??進入ollama的模型庫,選擇deepseek-r1,就能夠看到里面的各種安裝命令了,可以選擇不同大小的模型進行本地部署,但也是需要與自己電腦的配置相適應,否則GPU容易出問題
??如果使用 4-bit 量化,顯存需求:1.5B:約 1 GB; 7B:約 4 GB ;8B:約 4.5 GB; 14B:約 8 GB; 32B:約 18 GB; 70B:約 40 GB
??使用對應的命令安裝deepseek模型:
??ollama run deepseek-r1:7b
??Chatbox AI是一個基于對話的AI平臺,能夠實現自然語言交互。它支持多種語言和場景,可以與Ollama和DeepSeek R1配合使用,提供更豐富的交互體驗。以下是Chatbox AI的安裝步驟:
??1. 下載Chatbox AI:訪問Chatbox AI的官方網站,下載最新版本的安裝包: https://chatboxai.app/zh
??2. 安裝Chatbox AI:
????(1)對于Windows系統,解壓下載的文件,并運行安裝程序。
???(2)對于Linux系統,使用以下命令運行:
?????sudo ./Chatbox-1.9.5-x86_64.AppImage
??3. 配置Chatbox AI:打開配置文件config.json或者直接打開ui,根據需要修改參數,例如連接Ollama的地址等。進入軟件后點擊設置,然后選擇ollama的api,加載之前下載的模型即可。
??4. 測試模型:與部署后的模型進行對話:
??
??注意:除了chatbox可以進行UI可視化之外,還可以用瀏覽器插件來實現,我們只需要安裝一下page assist插件
page assis鏈接
??安裝到瀏覽器后直接打開即可自動鏈接已經下載的模型:
??四、總結
??通過上述步驟,你可以在本地成功部署DeepSeek R1,并安裝Ollama和Chatbox AI。這些工具的結合將為你的AI項目提供強大的支持,無論是模型訓練、推理還是交互式應用,都能輕松實現。希望本文對你有所幫助,祝你在AI開發的道路上越走越遠!
2. 模型信息后記
DeepSeek-R1
模型 #總參數 #已激活參數 上下文長度
DeepSeek-R1-Zero 671B 37B 128千
DeepSeek-R1 671B 37B 128千
DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 進行訓練。有關模型架構的更多詳細信息,請參閱DeepSeek-V3存儲庫。
DeepSeek-R1-Distill 模型
模型 基礎模型
DeepSeek-R1-Distill-Qwen-1.5B Qwen2.5-Math-1.5B
DeepSeek-R1-Distill-Qwen-7B Qwen2.5-Math-7B
DeepSeek-R1-Distill-Llama-8B Llama-3.1-8B
DeepSeek-R1-Distill-Qwen-14B Qwen2.5-14B
DeepSeek-R1-Distill-Qwen-32B Qwen2.5-32B
DeepSeek-R1-Distill-Llama-70B Llama-3.3-70B-Instruct
DeepSeek-R1-Distill 模型基于開源模型進行了微調,使用了 DeepSeek-R1 生成的樣本。deepseek對其配置和分詞器進行了輕微更改。請使用deepseek的設置來運行這些模型。