目錄
一、本地部署Ollama
1.1 進入官網復安裝命令
1.2 執行安裝命令
?1.3 驗證是否安裝成功
二、啟動Ollama服務
三、運行模型
方法一：拉取模型鏡像
方法二：拉取本地模型
四、使用Open WebUI 部署模型
4.1 創建虛擬環境
4.2 安裝依賴
4.3?運行 open-webui
4.4 啟動瀏覽器
前言
安裝前說明
?本教程主要演示的是Linux環境部署
一、本地部署Ollama
1.1 進入官網復制安裝命令
Ollama官網：Ollama
說明：個人電腦顯存如果低于16GB不推薦安裝，因為跑不動模型，可以去租服務器。
以下是部署在服務器Linux環境下部署的。
?
▲因為部署的環境是Linux，這里選擇Linux的安裝命令；
▲復制命令，在服務器的數據盤中安裝
curl -fsSL https://ollama.com/install.sh | sh
1.2 執行安裝命令
在服務器的數據盤中運行
說明：不同服務器的數據盤會有所不同，這里一定得選好適合自己的。?
?1.3 驗證是否安裝成功
#查看Ollama版本
ollama --version?顯示樣例：?
二、啟動Ollama服務
#啟動Ollama服務
ollama serve顯示樣例：?
說明：ollama運行后會在本地端口暴露一個 openai API 服務，我們后面使用 open-webui 來連接就可以了。
三、運行模型
3.1 方法一：拉取ollama模型鏡像
#拉取在線模型deepseek-r1:1.5b
ollama run deepseek-r1:1.5b拉取成功后可以直接和大模型進行對話。
??
（可選）選擇模型：這里選擇deepseek-r1:1.5b
要下載那個模型，點進去就有它的安裝命令；?
3.2? 方法二：拉取本地模型
前提要求：本地需要要一個gguf格式的模型，可以去魔塔社區或Huggingface上下載；
這里以魔塔社區為例：
可以搜索gguf后綴的模型下載現成的
3.2.1 選擇模型
這里我選擇一個已經訓練后，轉成gguf個格式的模型【Qwen2.5-7B-Instruct-f16.gguf】。
3.2.2?創建ModelFile
創建一個 Ollama 模型的 meta 文件（ModelFile），目的是讓 Ollama 能加載你本地的 GGUF 文件。
1、選擇創建ModelFile的路徑
#進入模型路徑
cd /mnt/workspace/model/qwen▲/mnt/workspace/model/qwen：表示我存放模型文件的路徑，這里選擇自己存放模型的路徑即可。
2、創建一個名為 Modelfile 的文件
nano Modelfile或者用 vi：
vi Modelfile按“i”寫入以下內容。復制模型路徑，寫入以下內容，創建名為“ModelFile”的meta文件，內容如下：
#GGUF文件路徑
FROM /mnt/workspace/model/qwen/Qwen2.5-7B-Instruct-q8_0.gguf說明：/mnt/workspace/model/qwen/Qwen2.5-7B-Instruct-q8_0.gguf：表示轉換為gguf格式的模型路徑。
【說明】
成功寫入后，會在當前目錄下創建一個Modelfile的文件
3.2.3?創建自定義模型?
使用ollama create命令創建自定義模型
ollama create qwen2.5-7b-f16 -f ./Modelfile▲qwen2.5-7b-f16：表示注冊進Ollama的自定義模型名稱；
▲./Modelfile：表示上一步創建的Modelfile文件路徑；
這會把模型注冊進 Ollama 的本地模型庫，名字叫 qwen2.5-7b-f16
3.2.4 查看是否注冊成功
ollama list
四、使用Open WebUI 部署模型
open webui適合小型快速的應用做部署，但在現階段這個框架是存在一定缺陷的：不適合微調之后的模型，在【三、運行模型】這一步介紹了2種方法，一種是直接從Ollama中拉取模型，一種則是訓練后的gguf格式的模型文件。經過測試，直接在Ollama上拉取的模型可以正常去做一些回答，而微調后的模型拉取到Ollama上，會不停地輸出內容
4.1 創建虛擬環境
#創建虛擬環境
conda create -n ollama-open-webui python=3.11#激活虛擬環境
conda create -n ollama-open-webui倉庫：https://github.com/open-webui/open-webui文檔：https://docs.openwebui.com/
4.2 安裝依賴
pip install -U open-webui注意：這里安裝的過程會比較長，耐心等待；
4.3?運行 open-webui
# 激活名為 open-webui 的 Conda 環境
conda activate open-webui # 設置 Hugging Face 模型倉庫的鏡像地址為 https://hf-mirror.com，通常用于加速從 Hugging Face 下載模型
export HF_ENDPOINT=https://hf-mirror.com # 啟用 Ollama API 服務，這可能意味著啟動本地 Ollama 服務用于與模型交互
export ENABLE_OLLAMA_API=True # 設置 OpenAI API 的本地基礎 URL，使其指向本地服務 (127.0.0.1:11434)，通常用于連接 OpenAI 的代理或自定義接口
export OPENAI_API_BASE_URL=http://127.0.0.1:11434/v1 # 啟動 open-webui 服務，通常是啟動一個 Web 界面應用來訪問模型、進行交互或查看結果
open-webui serve
這里會生成一個文件：.webui_secret_key;
【注意】
執行open-webui server后，可能時間會比較長，只要沒報錯就耐心等待；
簡單總結：
-
激活 Conda 環境：確保你正在使用特定的 Conda 環境 (
open-webui) 來運行應用。 -
設置鏡像和 API 配置：通過環境變量配置模型下載源 (
HF_ENDPOINT) 和啟用本地服務（ENABLE_OLLAMA_API）以及設置 API 基礎 URL（OPENAI_API_BASE_URL）。 -
啟動服務：最后通過
open-webui serve啟動 Web 服務，通常是一個用來與模型交互的界面。
4.4 啟動瀏覽器
一切運行正常后，可以通過瀏覽器輸入 http://127.0.0.1:8080 打開 open-webui 面板進行使用。如果部署在遠程服務器則需要把 127.0.0.1 改成對應的 ip 地址（并考慮防火墻問題）。關于后臺持續運行服務，可以使用 tmux/screen/systemd 工具或者 nuhup ... & 等方法，網上教程非常多，本文在此不敘述。
▲進入對話頁面
▲進行對話
切換模型，可以發現注冊進ollama的模型都在這里，可以根據需求選擇增加想要的模型。
)
)
的技術架構)
