在Windows系統中本地部署屬于自己的大語言模型(Ollama + open-webui + deepseek-r1)

文章目錄

      • 1 在Windows系統中安裝Ollama,并成功啟動;
      • 2 非docker方式安裝open-webui
      • 3下載并部署模型deepseek-r1


  • Ollama
    Ollama 是一個命令行工具,用于管理和運行機器學習模型。它簡化了模型的下載與部署,支持跨平臺使用,包括 Windows、Linux 和 MacOS 系統。用戶可以通過 Ollama 訪問豐富的模型庫,如 Qwen、Llama 等,并支持自定義模型參數。

  • open-webui
    open-webui 是一個用戶友好的 Web 界面,用于與大型語言模型進行交互。它提供了一個直觀的圖形用戶界面,使用戶能夠更方便地與模型進行交互。類似于chatgpt的web界面;

  • deepseek-r1
    DeepSeek-R1 是由中國公司 DeepSeek 開發的大型語言模型。它以成本效益高和開放性受到科學家的歡迎,能夠生成類似于人類推理過程的逐步響應。


1 在Windows系統中安裝Ollama,并成功啟動;

  • 在ollama官網中下載OllamaSetup.exe;
    在這里插入圖片描述
  • 點擊OllamaSetup.exe進行安裝;按照提示一步步安裝;
    在這里插入圖片描述
  • 安裝完成以后,直接去系統托盤里面查看ollama是否已經啟動,存在則代表啟動成功;后面第二次啟動則像下圖一樣;
    在這里插入圖片描述
  • 這個時候其實已經可以在CMD窗口中,通過ollama下載開源的大語言模型,并在本地進行部署,下圖就是以Google的開源模型gemma2為例子;
    在這里插入圖片描述
  • 在ollama的library網頁可以查看ollama可以下載并部署的大語言模型,如下圖選擇的就是deepseek-r1:14b模型;
  • “B” 指的是模型的參數數量,例如"7B"即這個模型有70億(Billion)個參數。
  • 參數是機器學習模型中用來從數據中學習的變量。
  • 參數數量是衡量模型復雜度和容量的一個指標,通常參數數量越多,模型的表達能力越強,但同時也需要更多的數據和計算資源來訓練。
  • 所以在本地部署模型的時候,要根據電腦配置選取合適參數變量的模型;
    在這里插入圖片描述

2 非docker方式安裝open-webui

使用 PyCharm 作為集成開發環境(IDE),并結合 Miniconda 來管理 Python 環境和依賴

    1. pycharm創建項目(按需命名),miniconda創建虛擬環境,注意創建時選用的python版本需要大于等于3.11;
      在這里插入圖片描述
    1. 在pycharm終端確認虛擬環境已經激活,然后通過以下命令安裝open-webui,安裝過程會有些慢;
  pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui

在這里插入圖片描述

  • 安裝的時候會在這個地方卡很久,請耐心等待5-10mins左右;
    在這里插入圖片描述

  • 3.通過以下命令啟動open-webui,下圖是我第二次啟動的樣子,第一次應該會比較慢,需要安裝很多依賴包;如果過程中出現安裝失敗的情況,就需要科學上網解決;或者訪問這個視頻網址,根據up主的方式去解決;

open-webui serve       

在這里插入圖片描述

  • 4.根據上面的信息,open-webui是部署在本機的8080端口上,所以通過以下網址可以進行訪問,訪問以后來到注冊界面,如下圖,這個注冊只需要填寫信息即可注冊,且第一個注冊人員就是管理員;
localhost:8080

在這里插入圖片描述

    1. 成功登陸以后界面如下,將界面語言設置成簡體中文;
      在這里插入圖片描述

3下載并部署模型deepseek-r1

  • 1.在open-webui中按照下圖標注打開管理模型的界面;
    在這里插入圖片描述

  • 2.點擊標注的地方;
    在這里插入圖片描述

  • 3.按照以下標注順序下載和部署模型
    在這里插入圖片描述

  • 下載完成以后,就可以按照下圖,在“新對話”的界面中選取部署好的模型,然后就能正常使用了;
    在這里插入圖片描述


更多關于open-webui的使用可以參考:

  • 三分鐘一鍵部署Ollama!解壓即用!
  • OpenWebUI+Ollama本地部署保姆級教程(非Docker),輕松搭建大語言模型!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/67350.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/67350.shtml
英文地址,請注明出處:http://en.pswp.cn/web/67350.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

React中的JavaScript語法

最近在看《深入淺出react和redux》。其實react-redux采用的單相流flux是對傳統mvc的一種改進,而Qt的qml遵循的是傳統mvc,已有類似flux的Qt-qml實現,比如:GitHub - benlau/quickflux: A Flux implementation for QML。為了更好理解…

ProGen生成功能蛋白序列

LLM在包括蛋白質設計等各種生物技術應用中展現出了潛力。ProGen是一種語言模型,它能夠生成在大型蛋白質家族中具有可預測功能的蛋白質序列,這類似于針對不同主題生成語法和語義正確的自然語言句子。該模型在來自超過19,000個家族的2.8億個蛋白質序列上進…

省級數字經濟發展水平數據(2011-2022年)-社科數據

省級數字經濟發展水平數據(2011-2022年)-社科數據https://download.csdn.net/download/paofuluolijiang/90028602 https://download.csdn.net/download/paofuluolijiang/90028602 數字經濟是指以數據資源為關鍵要素、以現代信息網絡為主要載體、以信息…

Leecode刷題C語言之跳躍游戲②

執行結果:通過 執行用時和內存消耗如下&#xff1a; int jump(int* nums, int numsSize) {int position numsSize - 1;int steps 0;while (position > 0) {for (int i 0; i < position; i) {if (i nums[i] > position) {position i;steps;break;}}}return steps…

《多線程基礎之條件變量》

【條件變量導讀】條件變量是多線程中比較靈活而且容易出錯的線程同步手段&#xff0c;比如&#xff1a;虛假喚醒、為啥條件變量要和互斥鎖結合使用&#xff1f;windows和linux雙平臺下&#xff0c;初始化、等待條件變量的api一樣嗎&#xff1f; 本文將分別為您介紹條件變量在w…

【信息系統項目管理師-選擇真題】2009上半年綜合知識答案和詳解

更多內容請見: 備考信息系統項目管理師-專欄介紹和目錄 文章目錄 【第1題】【第2~3題】【第4題】【第5題】【第6題】【第7題】【第8題】【第9題】【第10題】【第11題】【第12題】【第13題】【第14題】【第15題】【第16題】【第17題】【第18題】【第19題】【第20題】【第21題】…

消息隊列篇--通信協議篇--TCP和UDP(3次握手和4次揮手,與Socket和webSocket的概念區別等)

1、TCP和UDP概述 TCP&#xff08;傳輸控制協議&#xff0c;Transmission Control Protocol&#xff09;和UDP&#xff08;用戶數據報協議&#xff0c;User Datagram Protocol&#xff09;都算是最底層的通信協議&#xff0c;它們位于OSI模型的傳輸層。*傳輸層的主要職責是確保…

mysql_store_result的概念和使用案例

mysql_store_result() 是 MySQL C API 中的一個函數&#xff0c;用于檢索一個完整的結果集到一個客戶端。當執行一個查詢&#xff08;通常是 SELECT 查詢&#xff09;并希望處理所有返回的數據時&#xff0c;可以使用此函數。 概念 mysql_store_result() 函數的原型如下&…

React Router v6配置路由守衛

首先準備好以下頁面 登錄頁&#xff1a;用戶可以在此頁面登錄。 受保護頁&#xff1a;只有登錄的用戶可以訪問&#xff0c;否則會重定向到登錄頁。 公共頁面&#xff1a;不需要鑒權&#xff0c;任何人都可以訪問。 1. 安裝依賴 首先&#xff0c;我們需要安裝 react-router-do…

打破傳統束縛:領略 Web3 獨特魅力

在互聯網發展的歷程中&#xff0c;我們見證了Web1和Web2的變遷。Web1是靜態信息的展示平臺&#xff0c;Web2則引領了社交互動和內容創作的繁榮&#xff0c;而如今&#xff0c;Web3作為新時代的互聯網架構&#xff0c;正逐漸展現出其獨特的魅力&#xff0c;帶領我們走向一個更加…

[論文總結] 深度學習在農業領域應用論文筆記14

當下&#xff0c;深度學習在農業領域的研究熱度持續攀升&#xff0c;相關論文發表量呈現出迅猛增長的態勢。但繁榮背后&#xff0c;質量卻不盡人意。相當一部分論文內容空洞無物&#xff0c;缺乏能夠落地轉化的實際價值&#xff0c;“湊數” 的痕跡十分明顯。在農業信息化領域的…

Linux 學習筆記__Day3

十八、設置虛擬機的靜態IP 1、VMware的三種網絡模式 安裝VMware Workstation Pro之后&#xff0c;會在Windows系統中虛擬出兩個虛擬網卡&#xff0c;如下&#xff1a; VMware提供了三種網絡模式&#xff0c;分別是&#xff1a;橋接模式&#xff08;Bridged&#xff09;、NAT…

QT+mysql+python 效果:

# This Python file uses the following encoding: utf-8 import sysfrom PySide6.QtWidgets import QApplication, QWidget,QMessageBox from PySide6.QtGui import QStandardItemModel, QStandardItem # 導入需要的類# Important: # 你需要通過以下指令把 form.ui轉為ui…

筆記本跑大模型嘗試

1&#xff0c;筆記本電腦資源 我是一臺聯想筆記本電腦&#xff0c;基本配置如下&#xff1a; CPU&#xff1a;12th Gen Intel(R) Core(TM) i7-1255U 1.70 GHz (12核心&#xff0c;2個P核和8個E核&#xff0c;共計10個核心) 顯卡&#xff1a;NVIDIA GeForce MX550 內存&am…

C語言實現掃雷游戲(有展開一片和標記雷的功能)

實現準備 分2個.c源文件和1個.h頭文件去寫代碼 test.c 對掃雷游戲進行測試game.c 掃雷游戲功能的實現game.h 掃雷游戲功能的聲明 掃雷游戲 1.test.c對掃雷游戲進行測試 首先我們要先把玩游戲的框架寫出來&#xff0c;然后一步一步去完成其功能 跟著下面的代碼的節奏走一步一步…

GitHub 倉庫的 Archived 功能詳解:中英雙語

GitHub 倉庫的 Archived 功能詳解 一、什么是 GitHub 倉庫的 “Archived” 功能&#xff1f; 在 GitHub 上&#xff0c;“Archived” 是一個專門用于標記倉庫狀態的功能。當倉庫被歸檔后&#xff0c;它變為只讀模式&#xff0c;所有的功能如提交代碼、創建 issue 和 pull req…

基礎IO(2)

基礎IO&#xff08;2&#xff09; 理解“?切皆?件” ?先&#xff0c;在windows中是?件的東西&#xff0c;它們在linux中也是?件&#xff1b;其次?些在windows中不是?件的東西&#xff0c;?如進程、磁盤、顯?器、鍵盤這樣硬件設備也被抽象成了?件&#xff0c;你可以使…

Transformation,Animation and Viewing

4 Transformation&#xff0c;Animation and Viewing 聲明&#xff1a;該代碼來自&#xff1a;Computer Graphics Through OpenGL From Theory to Experiments&#xff0c;僅用作學習參考 4.1 Modeling Transformations 平移、縮放和旋轉&#xff0c;即 OpenGL 的建模轉換&…

Deepseek的RL算法GRPO解讀

在本文中&#xff0c;我們將深入探討Deepseek采用的策略優化方法GRPO&#xff0c;并順帶介紹一些強化學習&#xff08;Reinforcement Learning, RL&#xff09;的基礎知識&#xff0c;包括PPO等關鍵概念。 策略函數&#xff08;policy&#xff09; 在強化學習中&#xff0c; a…

【python】python基于機器學習與數據分析的二手手機特性關聯與分類預測(源碼+數據集)【獨一無二】

&#x1f449;博__主&#x1f448;&#xff1a;米碼收割機 &#x1f449;技__能&#x1f448;&#xff1a;C/Python語言 &#x1f449;專__注&#x1f448;&#xff1a;專注主流機器人、人工智能等相關領域的開發、測試技術。 python基于機器學習與數據分析的二手手機特性關聯與…