Windows本地Docker+Open-WebUI部署DeepSeek

? ? ? ? 最近想在自己的電腦本地部署一下DeepSeek試試,由于不希望污染電腦的Windows環境,所以在wsl中安裝了ollama,使用ollama拉取DeepSeek模型。然后在Windows中安裝了Docker Desktop,在Docker中部署了Open-WebUI,最后再在Open-WebUI中連接到wsl的ollama,大功告成!這里記錄一下部署的過程。

顯卡:NVIDIA GeForce RTX 3060 Laptop

Docker Desktop 版本:v4.38.0

ollama 版本:0.5.11

DeepSeek模型:DeepSeek R1 8b 4bit量化

目錄

安裝ollama

1.下載安裝ollama

?2.執行命令查看狀態

?3.查看ollama端口

?4.查看本地模型執行命令

5.拉取DeepSeek模型

6.編輯ollama.service文件

安裝Docker Desktop

1.下載 Docker Desktop

2.查看Docker是否正常工作

安裝Open-WebUI

1.安裝

2.Open-WebUI 接入 Ollama?


安裝ollama

首先Windows上需要安裝了WSL2,網上很多教程,這里就不寫詳細過程了。

1.下載安裝ollama

????????在終端里切換到WSL里,執行下面的命令下載安裝ollama:

curl -fsSL https://ollama.com/install.sh | sh

????????如果不掛梯子的話,會安裝的非常慢,建議開梯子再下載。

?2.執行命令查看狀態

sudo systemctl status ollama

?3.查看ollama端口

????????執行命令安裝net-tools:

sudo apt install net-tools

????????執行命令:

sudo netstat -anp | grep 11434

?4.查看本地模型執行命令

ollama list

5.拉取DeepSeek模型

? ? ? ? ?在 ollama 官網上可以查看可以拉取的模型以及對應的命令:https://ollama.com/search,我這里拉取的是DeepSeek R1 8b 的 4bit 量化版本,Q4_K_M表示量化的 4bit 版本:

? ? ? ? 執行命令,會先給你下載,再自動啟動的:?

ollama run deepseek-r1:8b

????????下載完后,可以看到本地已經有DeepSeek-R1:8b模型了。

6.編輯ollama.service文件

? ? ? ? 執行下面的命令使用vim編輯ollama.service文件,并在其中添加如下兩行:

sudo vim /etc/systemd/system/ollama.service

Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"

????????改好以后記得使用下面的命令,重啟ollama服務,然后可以關閉WSL:?

sudo systemctl restart ollama


安裝Docker Desktop

1.下載 Docker Desktop

????????訪問 Docker 官網?下載 Docker Desktop。下載適用于?Windows?的?Docker Desktop?安裝程序。

? ? ? ? 下載完成后雙擊安裝,Docker Desktop?默認安裝在:C:\Program Files\Docker\Docker。Docker會自動為你配置WSL 2和虛擬化支持。安裝完成后打開:

2.查看Docker是否正常工作

????????輸入命令,查看 Docker 版本:

docker --version

? ? ? ? 輸入命令,查看 Docker 的配置信息,包括容器和鏡像的詳細信息:

docker info


安裝Open-WebUI

1.安裝

? ? ? ? 運行如下命令,安裝 Open-WebUI:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

? ? ? ? 安裝完后,重啟 Docker Desktop ,可以查看到容器信息:

2.Open-WebUI 接入 Ollama?

? ? ? ? 點擊端口,進入 Open-WebUI ,注冊管理員賬號后進入主頁面,這時候可以選擇的模型列表還是空的:

? ? ? ? 點擊右上角頭像—>設置—>管理員設置?

?????????

? ? ? ? 點擊外部連接,選擇Ollama API,設置連接地址:

? ? ? ? ?然后回到主頁面,再點擊選擇一個模型,就可以看到我們再Ollama中拉取的DeepSeek-R1:8b模型了,大功告成!

參考博客:Windows 中使用 Docker Desktop 部署 Open WebUI 做大模型可視化_openwebui docker部署-CSDN博客

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/71175.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/71175.shtml
英文地址,請注明出處:http://en.pswp.cn/web/71175.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

力扣785. 判斷二分圖

力扣785. 判斷二分圖 題目 題目解析及思路 題目要求將所有節點分成兩部分,每條邊的兩個端點都必須在不同集合中 二分圖:BFS/DFS/并查集 因為圖不一定聯通,所以枚舉所有點都做bfs(如果沒聯通的話) 代碼 class Solution { public:bool is…

springboot之集成Elasticsearch

目錄 二、Elasticsearch 是什么?三、Elasticsearch 安裝四、Springboot 集成 Elasticsearch 的方式五、創建項目集成 Elasticsearch 2.創建 Spring Initializr 項目 es (3).新建實體類 User(4).新建 dao 接口類 UserR…

[Lc滑動窗口_1] 長度最小的數組 | 無重復字符的最長子串 | 最大連續1的個數 III | 將 x 減到 0 的最小操作數

目錄 1. 長度最小的字數組 題解 代碼 ?2.無重復字符的最長子串 題解 代碼 3.最大連續1的個數 III 題解 代碼 4.將 x 減到 0 的最小操作數 題解 代碼 1. 長度最小的字數組 題目鏈接:209.長度最小的字數組 題目分析: 給定一個含有 n 個 正整數 的數組…

數據集筆記:新加坡 地鐵(MRT)和輕軌(LRT)票價

數據連接 data.gov.sg 2024 年 12 月 28 日起生效的新加坡地鐵票價 該數據集包含 MRT 和 LRT 票價的信息,包括: 票價類型(Fare Type):成人票、學生票、老年人票、殘障人士票等。適用時間(Applicable Tim…

湘潭大學計算機復試詳細攻略(調劑)

一,寫在前面的話 ① 首先,能完成考試初試來到這里的都是勇士。不管結果如何,不管成績如何。我都在這里真心的祝福你以后一帆風順。 ② 目前學歷貶值嚴重,如果是成績不理想的話,我建議能工作就去工作,工作不…

【前端基礎】Day 3 CSS-2

目錄 1. Emmet語法 1.1 快速生成HTML結構語法 1.2 快速生成CSS樣式語法 2. CSS的復合選擇器 2.1 后代選擇器 2.2 子選擇器 2.3 并集選擇器 2.4 偽類選擇器 2.4.1 鏈接偽類選擇器 2.4.2 focus偽類選擇器 2.5 復合選擇器總結 3. CSS的元素顯示模式 3.1 什么是元素顯示…

不同數據類型在數據庫和編程語言之間的對應關系表

不同數據類型在數據庫和編程語言之間的對應關系表 MySql 與 C# MySqlC#varcharstringbigintlongbigint unsignedulongintintint unsigneduintsmallintshortsmallint unsignedushortVARCHAR(36)GuidsmalldatetimeDateTimedateDateTimedatetimeDateTimetimestampDateTimefloatf…

RabbitMQ操作實戰

1.RabbitMQ安裝 RabbitMQ Windows 安裝、配置、使用 - 小白教程-騰訊云開發者社區-騰訊云下載erlang:http://www.erlang.org/downloads/https://cloud.tencent.com/developer/article/2192340 Windows 10安裝RabbitMQ及延時消息插件rabbitmq_delayed_message_exch…

DeepSeek教unity------UI元素長按響應

主要功能說明: ?長按檢測:通過記錄指針按下的時間,判斷是否達到 longClickTime,從而觸發長按事件。?狀態管理:使用 StateEnum 枚舉管理點擊項的當前狀態(未按下、按下等待長按、長按已觸發)。…

【北京迅為】itop-3568 開發板openharmony鴻蒙燒寫及測試-第2章OpenHarmony v3.2-Beta4版本測試

瑞芯微RK3568芯片是一款定位中高端的通用型SOC,采用22nm制程工藝,搭載一顆四核Cortex-A55處理器和Mali G52 2EE 圖形處理器。RK3568 支持4K 解碼和 1080P 編碼,支持SATA/PCIE/USB3.0 外圍接口。RK3568內置獨立NPU,可用于輕量級人工…

stm32hal庫尋跡+藍牙智能車(STM32F103C8T6)

簡介: 這個小車的芯片是STM32F103C8T6,其他的芯片也可以照貓畫虎,基本配置差不多,要注意的就是,管腳復用,管腳的特殊功能,(這點不用擔心,hal庫每個管腳的功能都會給你羅列,很方便的.)由于我做的比較簡單,只是用到了幾個簡單外設.主要是由帶霍爾編碼器電機的車模,電機…

SQL命令詳解之操作數據庫

操作數據庫 SQL是用于管理和操作關系型數據庫的標準語言。數據庫操作是SQL的核心功能之一,主要用于創建、修改和刪除數據庫對象,如數據庫、表、視圖和索引等。以下是SQL中常見的數據庫操作命令及其功能簡介: 1. 查詢數據庫 查詢所有的數據庫…

Go紅隊開發—編解碼工具

文章目錄 開啟一個項目編解碼工具開發Dongle包Base64編解碼摩斯密碼URL加解密AES加解密 MD5碰撞工具開發 開啟一個項目 這作為補充內容,可忽略直接看下面的編解碼: 一開始用就按照下面的步驟即可 1.創建一個文件夾,你自己定義名字(建議只用…

Starrocks入門(二)

1、背景:考慮到Starrocks入門這篇文章,安裝的是3.0.1版本的SR,參考:Starrocks入門-CSDN博客 但是官網的文檔,沒有對應3.0.x版本的資料,卻有3.2或者3.3或者3.4或者3.1或者2.5版本的資料,不要用較…

工程化與框架系列(10)--微前端架構

微前端架構 🏗? 微前端是一種將前端應用分解成更小、更易管理的獨立部分的架構模式。本文將詳細介紹微前端的核心概念、實現方案和最佳實踐。 微前端概述 🌟 💡 小知識:微前端的核心理念是將前端應用分解成一系列獨立部署、松耦…

SwiftUI之狀態管理全解析

文章目錄 引言一、`@State`1.1 基本概念1.2 初始化與默認值1.3 注意事項二、`@Binding`2.1 基本概念2.2 初始化與使用2.3 注意事項三、`@ObservedObject`3.1 基本概念3.2 初始化與使用3.3 注意事項四、`@EnvironmentObject`4.1 基本概念4.2 初始化與使用4.3 注意事項五、`@Stat…

Redis 高可用性:如何讓你的緩存一直在線,穩定運行?

🎯 引言:Redis的高可用性為啥這么重要? 在現代高可用系統中,Redis 是一款不可或缺的分布式緩存與數據庫系統。無論是提升訪問速度,還是實現數據的高效持久化,Redis 都能輕松搞定。可是,當你把 …

面試題:說一下你對DDD的了解?

面試題:說一下你對DDD的了解? 在面試中,關于 DDD(領域驅動設計,Domain-Driven Design) 的問題是一個常見的技術考察點。DDD 是一種軟件設計方法論,旨在通過深入理解業務領域來構建復雜的軟件系統。以下是一個清晰、詳細的回答模板,幫助你在面試中脫穎而出: DDD 的定義…

Redis---緩存穿透,雪崩,擊穿

文章目錄 緩存穿透什么是緩存穿透?緩存穿透情況的處理流程是怎樣的?緩存穿透的解決辦法緩存無效 key布隆過濾器 緩存雪崩什么是緩存雪崩?緩存雪崩的解決辦法 緩存擊穿什么是緩存擊穿?緩存擊穿的解決辦法 區別對比 在如今的開發中&…

Android Logcat 高效調試指南

工具概覽 Logcat 是 Android SDK 提供的命令行日志工具&#xff0c;支持靈活過濾、格式定制和實時監控&#xff0c;官方文檔詳見 Android Developer。 基礎用法 命令格式 [adb] logcat [<option>] ... [<filter-spec>] ... 執行方式 直接調用&#xff08;通過ADB守…