linux本地部署deepseek-R1模型

國產開源大模型追平甚至超越了CloseAI的o1模型,大國崛起時刻!!!

在這里插入圖片描述

DeepSeek R1 本地部署指南
??在人工智能技術飛速發展的今天,本地部署AI模型成為越來越多開發者和企業關注的焦點。本文將詳細介紹如何在本地部署DeepSeek R1,同時涵蓋Ollama和Chatbox AI的安裝與配置。通過這些步驟,你可以在本地環境中高效地運行和使用這些強大的AI工具。

??一、DeepSeek簡介
在這里插入圖片描述

??DeepSeek是一個專注于人工智能研究與應用的平臺,致力于提供高效、靈活且易于部署的AI解決方案。DeepSeek R1是其最新版本,支持多種AI模型的本地部署,能夠滿足不同場景下的需求。https://www.deepseek.com/它具備以下特點:
??1. 輕量級:模型經過優化,適合在資源有限的設備上運行。
??2. 高效推理:能夠在低延遲下進行實時推理。
??3. 可擴展性:支持自定義訓練和微調,滿足不同場景需求。

??二、Ollama簡介與安裝
在這里插入圖片描述

??Ollama是一個開源的AI模型管理工具,用于簡化AI模型的部署和管理。它支持多種模型格式,能夠與DeepSeek R1無縫集成。以下是Ollama的安裝步驟:
??1. 下載Ollama:訪問Ollama的官方網站或GitHub頁面,下載最新版本的安裝包:https://ollama.com/download
??2. 安裝Ollama:
????(1)對于Windows系統,雙擊安裝包并按照提示完成安裝。
????(2)對于Linux系統,使用以下命令安裝:
??????curl -fsSL https://ollama.com/install.sh | sh
??3. 啟動Ollama服務:安裝完成后,運行以下命令查看是否安裝成功:
??????ollama -v
??4. 驗證安裝:打開瀏覽器,訪問http://localhost:11434,如果頁面顯示Ollama的界面,則說明安裝成功。
在這里插入圖片描述
??進入ollama的模型庫,選擇deepseek-r1,就能夠看到里面的各種安裝命令了,可以選擇不同大小的模型進行本地部署,但也是需要與自己電腦的配置相適應,否則GPU容易出問題
在這里插入圖片描述
在這里插入圖片描述
??如果使用 4-bit 量化,顯存需求:1.5B:約 1 GB; 7B:約 4 GB ;8B:約 4.5 GB; 14B:約 8 GB; 32B:約 18 GB; 70B:約 40 GB

??使用對應的命令安裝deepseek模型:
??ollama run deepseek-r1:7b

??三、Chatbox AI簡介與安裝

??Chatbox AI是一個基于對話的AI平臺,能夠實現自然語言交互。它支持多種語言和場景,可以與Ollama和DeepSeek R1配合使用,提供更豐富的交互體驗。以下是Chatbox AI的安裝步驟:
??1. 下載Chatbox AI:訪問Chatbox AI的官方網站,下載最新版本的安裝包: https://chatboxai.app/zh
??2. 安裝Chatbox AI:
????(1)對于Windows系統,解壓下載的文件,并運行安裝程序。
???(2)對于Linux系統,使用以下命令運行:
?????sudo ./Chatbox-1.9.5-x86_64.AppImage
??3. 配置Chatbox AI:打開配置文件config.json或者直接打開ui,根據需要修改參數,例如連接Ollama的地址等。進入軟件后點擊設置,然后選擇ollama的api,加載之前下載的模型即可。在這里插入圖片描述在這里插入圖片描述

??4. 測試模型:與部署后的模型進行對話:
?????chatbox-ai

??注意:除了chatbox可以進行UI可視化之外,還可以用瀏覽器插件來實現,我們只需要安裝一下page assist插件在這里插入圖片描述

page assis鏈接
??安裝到瀏覽器后直接打開即可自動鏈接已經下載的模型:
在這里插入圖片描述

??四、總結
??通過上述步驟,你可以在本地成功部署DeepSeek R1,并安裝Ollama和Chatbox AI。這些工具的結合將為你的AI項目提供強大的支持,無論是模型訓練、推理還是交互式應用,都能輕松實現。希望本文對你有所幫助,祝你在AI開發的道路上越走越遠!
2. 模型信息后記
DeepSeek-R1
模型 #總參數 #已激活參數 上下文長度
DeepSeek-R1-Zero 671B 37B 128千
DeepSeek-R1 671B 37B 128千
DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 進行訓練。有關模型架構的更多詳細信息,請參閱DeepSeek-V3存儲庫。
DeepSeek-R1-Distill 模型
模型 基礎模型
DeepSeek-R1-Distill-Qwen-1.5B Qwen2.5-Math-1.5B
DeepSeek-R1-Distill-Qwen-7B Qwen2.5-Math-7B
DeepSeek-R1-Distill-Llama-8B Llama-3.1-8B
DeepSeek-R1-Distill-Qwen-14B Qwen2.5-14B
DeepSeek-R1-Distill-Qwen-32B Qwen2.5-32B
DeepSeek-R1-Distill-Llama-70B Llama-3.3-70B-Instruct
DeepSeek-R1-Distill 模型基于開源模型進行了微調,使用了 DeepSeek-R1 生成的樣本。deepseek對其配置和分詞器進行了輕微更改。請使用deepseek的設置來運行這些模型。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/67951.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/67951.shtml
英文地址,請注明出處:http://en.pswp.cn/web/67951.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

C基礎寒假練習(2)

一、輸出3-100以內的完美數&#xff0c;(完美數&#xff1a;因子和(因子不包含自身)數本身 #include <stdio.h>// 函數聲明 int isPerfectNumber(int num);int main() {printf("3-100以內的完美數有:\n");for (int i 3; i < 100; i){if (isPerfectNumber…

有限元分析學習——Anasys Workbanch第一階段筆記梳理

第一階段筆記主要源自于嗶哩嗶哩《ANSYS-workbench 有限元分析應用基礎教程》 張曄 主要內容導圖&#xff1a; 筆記導航如下&#xff1a; Anasys Workbanch第一階段筆記(1)基本信息與結果解讀_有限元分析變形比例-CSDN博客 Anasys Workbanch第一階段筆記(2)網格單元與應力奇…

html基本結構和常見元素

html5文檔基本結構 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><title>文檔標題</title> </head> <body>文檔正文部分 </body> </html> html文檔可分為文檔頭和文檔體…

Cursor如何使用Google Gemini以及碰到的坑

Cursor如何使用Google Gemini以及碰到的坑 Cursor介紹下載安裝Google Gemini介紹Google Gemini 官網申請Google Gemini API網址 配置Cursor使用Google Gemini打開Corsur設置 Cursor介紹 ?Cursor是一款基于人工智能的代碼編輯器&#xff0c;旨在幫助開發者更高效地編寫代碼。?…

【云安全】云原生-K8S-簡介

K8S簡介 Kubernetes&#xff08;簡稱K8S&#xff09;是一種開源的容器編排平臺&#xff0c;用于管理容器化應用的部署、擴展和運維。它由Google于2014年開源并交給CNCF&#xff08;Cloud Native Computing Foundation&#xff09;維護。K8S通過提供自動化、靈活的功能&#xf…

【C++】線程池實現

目錄 一、線程池簡介線程池的核心組件實現步驟 二、C11實現線程池源碼 三、線程池源碼解析1. 成員變量2. 構造函數2.1 線程初始化2.2 工作線程邏輯 3. 任務提交(enqueue方法)3.1 方法簽名3.2 任務封裝3.3 任務入隊 4. 析構函數4.1 停機控制 5. 關鍵技術點解析5.1 完美轉發實現5…

深入理解 C# 與.NET 框架

.NET學習資料 .NET學習資料 .NET學習資料 一、引言 在現代軟件開發領域&#xff0c;C# 與.NET 框架是構建 Windows、Web、移動及云應用的強大工具。C# 作為一種面向對象的編程語言&#xff0c;而.NET 框架則是一個綜合性的開發平臺&#xff0c;它們緊密結合&#xff0c;為開…

雷電等基于VirtualBox的Android模擬器映射串口和測試CSerialPort串口功能

雷電等基于VirtualBox的Android模擬器映射串口和測試CSerialPort串口功能 1. 修改VirtualBox配置文件映射串口 模擬器配置文件vms/leidian0/leidian.vbox。 在UART標簽下增加(修改完成后需要將leidian.vbox修改為只讀) <Port slot"1" enabled"true"…

【Linux系統】SIGCHLD 信號(選學了解)

SIGCHLD 信號 使用wait和waitpid函數可以有效地清理僵尸進程。父進程可以選擇阻塞等待&#xff0c;直到子進程結束&#xff1b;或者采用非阻塞的方式&#xff0c;通過輪詢檢查是否有子進程需要被回收。 然而&#xff0c;無論是選擇阻塞等待還是非阻塞的輪詢方式&#xff0c;父…

【R語言】獲取數據

R語言自帶2種數據存儲格式&#xff1a;*.RData和*.rds。 這兩者的區別是&#xff1a;前者既可以存儲數據&#xff0c;也可以存儲當前工作空間中的所有變量&#xff0c;屬于非標準化存儲&#xff1b;后者僅用于存儲單個R對象&#xff0c;且存儲時可以創建標準化檔案&#xff0c…

Vim的基礎命令

移動光標 H(左) J(上) K(下) L(右) $ 表示移動到光標所在行的行尾&#xff0c; ^ 表示移動到光標所在行的行首的第一個非空白字符。 0 表示移動到光標所在行的行首。 W 光標向前跳轉一個單詞 w光標向前跳轉一個單詞 B光標向后跳轉一個單詞 b光標向后跳轉一個單詞 G 移動光標到…

11. 9 構建生產級聊天對話記憶系統:從架構設計到性能優化的全鏈路指南

構建生產級聊天對話記憶系統:從架構設計到性能優化的全鏈路指南 關鍵詞: 聊天對話記憶系統、多用戶會話管理、LangChain生產部署、Redis記憶存儲、高并發對話系統 一、服務級聊天記憶系統核心需求 多用戶隔離:支持同時處理數千個獨立對話持久化存儲:對話歷史不因服務重啟丟…

Block Blaster Online:免費解謎游戲的樂趣

Block Blaster Online 是一款免費的在線解謎游戲&#xff0c;它將挑戰你的思維和反應能力&#xff01;在這里&#xff0c;你可以匹配五彩繽紛的方塊&#xff0c;創造出令人驚嘆的組合&#xff0c;享受無盡的解謎樂趣。無需安裝&#xff0c;點擊即可開始&#xff0c;加入全球數百…

Guided Decoding (借助FSM,有限狀態自動機)

VLLM對結構化輸出的支持&#xff1a; vllm/docs/source/features/structured_outputs.md at main vllm-project/vllm GitHub VLLM對tool call的支持&#xff1a; vllm/docs/source/features/tool_calling.md at main vllm-project/vllm GitHub 以上指定輸出格式&#xf…

IFeatureWorkspace.CreateFeatureClass(),報錯對COM組件的調用返回了錯誤 HRESULT E_FAIL

1、問題描述&#xff1a;在AE開發中&#xff0c;新增一個空的shpfile文件的時候&#xff0c;報錯&#xff0c;如下圖&#xff1a; 2、原因分析&#xff1a;產生此問題的原因是未設置默認字段的默認參數&#xff0c;特別是未設置IGeometryDef 參數。 3、解決方案&#xff1a;在…

算法題(48):反轉鏈表

審題&#xff1a; 需要我們將鏈表反轉并返回頭結點地址 思路&#xff1a; 一般在面試中&#xff0c;涉及鏈表的題會主要考察鏈表的指向改變&#xff0c;所以一般不會允許我們改變節點val值。 這里是單向鏈表&#xff0c;如果要把指向反過來則需要同時知道前中后三個節點&#x…

內存的介紹

1、程序運行為什么需要內存 1.1、計算機程序運行的目的 (1)程序的目的是為了去運行&#xff0c;程序運行是為了得到一定的結果。 (2)計算機程序 代碼 數據。計算機程序運行完得到一個結果&#xff0c;就是說 代碼 數據 (經過運行后) 結果。 (3)從宏觀上來理解&#xff…

【NLP百面百過】大模型算法面試高頻面題(全面整理 ???)

目錄 一、大模型面試指南 重點面題精講 【LLM面題精講 - RAG系統面】 查看答案 【LLM面題精講 - 實體識別面】 查看答案 【LLM面題精講 - 文本分類面】 查看答案 【LLM面題精講 - 分布式訓練面】 查看答案 【LLM面題精講 - 大模型微調面】 查看答案 【LLM面題精講 - 大…

Java 大視界 -- Java 大數據在智能醫療影像診斷中的應用(72)

??親愛的朋友們,熱烈歡迎來到 青云交的博客!能與諸位在此相逢,我倍感榮幸。在這飛速更迭的時代,我們都渴望一方心靈凈土,而 我的博客 正是這樣溫暖的所在。這里為你呈上趣味與實用兼具的知識,也期待你毫無保留地分享獨特見解,愿我們于此攜手成長,共赴新程!?? 一、…

基于 docker 的mysql 5.7 主主集群搭建

創建掛載目錄和配置文件 主節點1 mkdir -p /mysql_master_1/mysql/log mkdir -p /mysql_master_1/mysql/data mkdir -p /mysql_master_1/mysql/conf vim /mysql_master_1/mysql/conf/my.cnf[mysqld] datadir/var/lib/mysql #MySQL 數據庫文件存放路徑 server_id 1 #指定數據…