文章目錄
- 1 在Windows系統中安裝Ollama,并成功啟動;
- 2 非docker方式安裝open-webui
- 3下載并部署模型deepseek-r1
-
Ollama
Ollama 是一個命令行工具,用于管理和運行機器學習模型。它簡化了模型的下載與部署,支持跨平臺使用,包括 Windows、Linux 和 MacOS 系統。用戶可以通過 Ollama 訪問豐富的模型庫,如 Qwen、Llama 等,并支持自定義模型參數。 -
open-webui
open-webui 是一個用戶友好的 Web 界面,用于與大型語言模型進行交互。它提供了一個直觀的圖形用戶界面,使用戶能夠更方便地與模型進行交互。類似于chatgpt的web界面; -
deepseek-r1
DeepSeek-R1 是由中國公司 DeepSeek 開發的大型語言模型。它以成本效益高和開放性受到科學家的歡迎,能夠生成類似于人類推理過程的逐步響應。
1 在Windows系統中安裝Ollama,并成功啟動;
- 在ollama官網中下載OllamaSetup.exe;
- 點擊OllamaSetup.exe進行安裝;按照提示一步步安裝;
- 安裝完成以后,直接去系統托盤里面查看ollama是否已經啟動,存在則代表啟動成功;后面第二次啟動則像下圖一樣;
- 這個時候其實已經可以在CMD窗口中,通過ollama下載開源的大語言模型,并在本地進行部署,下圖就是以Google的開源模型gemma2為例子;
- 在ollama的library網頁可以查看ollama可以下載并部署的大語言模型,如下圖選擇的就是deepseek-r1:14b模型;
- “B” 指的是模型的參數數量,例如"7B"即這個模型有70億(Billion)個參數。
- 參數是機器學習模型中用來從數據中學習的變量。
- 參數數量是衡量模型復雜度和容量的一個指標,通常參數數量越多,模型的表達能力越強,但同時也需要更多的數據和計算資源來訓練。
- 所以在本地部署模型的時候,要根據電腦配置選取合適參數變量的模型;
2 非docker方式安裝open-webui
使用 PyCharm 作為集成開發環境(IDE),并結合 Miniconda 來管理 Python 環境和依賴
-
- pycharm創建項目(按需命名),miniconda創建虛擬環境,注意創建時選用的python版本需要大于等于3.11;
- pycharm創建項目(按需命名),miniconda創建虛擬環境,注意創建時選用的python版本需要大于等于3.11;
-
- 在pycharm終端確認虛擬環境已經激活,然后通過以下命令安裝open-webui,安裝過程會有些慢;
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui
-
安裝的時候會在這個地方卡很久,請耐心等待5-10mins左右;
-
3.通過以下命令啟動open-webui,下圖是我第二次啟動的樣子,第一次應該會比較慢,需要安裝很多依賴包;如果過程中出現安裝失敗的情況,就需要科學上網解決;或者訪問這個視頻網址,根據up主的方式去解決;
open-webui serve
- 4.根據上面的信息,open-webui是部署在本機的8080端口上,所以通過以下網址可以進行訪問,訪問以后來到注冊界面,如下圖,這個注冊只需要填寫信息即可注冊,且第一個注冊人員就是管理員;
localhost:8080
-
- 成功登陸以后界面如下,將界面語言設置成簡體中文;
- 成功登陸以后界面如下,將界面語言設置成簡體中文;
3下載并部署模型deepseek-r1
-
1.在open-webui中按照下圖標注打開管理模型的界面;
-
2.點擊標注的地方;
-
3.按照以下標注順序下載和部署模型
-
下載完成以后,就可以按照下圖,在“新對話”的界面中選取部署好的模型,然后就能正常使用了;
更多關于open-webui的使用可以參考:
- 三分鐘一鍵部署Ollama!解壓即用!
- OpenWebUI+Ollama本地部署保姆級教程(非Docker),輕松搭建大語言模型!