從零搭建AI工作站:Gemma3大模型本地部署+WebUI配置全套方案

文章目錄

    • 前言
    • 1. 安裝Ollama
    • 2.Gemma3模型安裝與運行
    • 3. 安裝Open WebUI圖形化界面
      • 3.1 Open WebUI安裝運行
      • 3.2 添加模型
      • 3.3 多模態測試
    • 4. 安裝內網穿透工具
    • 5. 配置固定公網地址
    • 總結

前言

如今各家的AI大模型廝殺得如火如荼,每天都有新的突破。今天我要給大家安利一款來自谷歌的Gemma3開源大模型。這款模型有10億、40億、120億和270億參數等多個版本,讓你可以根據自己的需求自由選擇。

在多項基準測試中,Gemma 3系列的表現相當搶眼,尤其是27B參數的版本更是力壓群雄,擊敗了o1-preview、o3-mini high和DeepSeek V3等強敵。它不僅支持140多種語言,中文表現也十分出色,更令人驚喜的是其強大的多模態能力——能夠處理視覺輸入并生成文本輸出。

接下來,就讓我們一起動手,在家用級Windows電腦上安裝部署Gemma3:27B大模型,并搭配一個酷炫的WebUI界面,讓你與AI互動更加得心應手。

1744091869943

1. 安裝Ollama

本例中使用的是Windows11系統專業版,通過Ollama運行Gemma3:27B大模型,之前曾經發布過如何在Windows安裝Ollama的教程,有需要的同學可以看看這篇文章:Windows本地部署Deepseek-R1大模型并使用Web界面遠程交互

簡單來說,就是訪問Ollama的官網:Download Ollama on Windows

image-20250408144901346

下載對應版本的ollama安裝程序并安裝:

image-20250408144936715

2.Gemma3模型安裝與運行

然后在Ollama的官網點擊Models,可以看到排在最上邊的就是Gemma3模型全家桶:

image-20250408145138702

點進去之后,在左側的下拉選項中能看到目前有4個量級的模型,分別是1b/4b/12b/27b和對應所需的儲存空間:

image-20250408145434595

本例使用gemma3:27b模型進行演示,**支持多模態(視覺)**27B 參數模型(128k 上下文窗口),需要準備20G以上硬盤空間,右邊是運行命令:

image-20250408145622588

Ollama安裝完成之后,打開cmd或者powershell等終端工具,執行命令就可以下載模型了:

ollama run gemma3:27b

PS:默認會下載模型到C盤,如果想修改下載位置,可以在終端中執行下方命令來指定模型文件的存放目錄,這里以d:\ollama為例,大家可以自定義:

set OLLAMA_MODELS=d:\ollama

如果你之前安裝過ollama,在執行命令后出現如下圖提示,那么關閉終端,請先升級ollama到最新版本。

image-20250408153616855

更新后,即可正常下載:

image-20250408154135178

模型下載完成之后,安裝成功后會提示success:

image-20250408161835787

自動進入對話狀態,直接輸入內容就能提問了:

image-20250408150619788

3. 安裝Open WebUI圖形化界面

現在我們已經能夠在本地Windows電腦上使用Gemma3 27B模型解答問題了,但在命令行中對話可能不是很美觀,在復制回答時也不太方便,我們可以通過安裝一個圖形化界面來解決這個問題。

不過在此之前,我們需要配置Ollama的環境變量,在終端中分別執行下方命令以便后續遠程調用大模型:

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

然后點擊電腦桌面右下角的ollama圖標退出并重啟服務。

本例以Open WebUI這個圖形化界面為例,使用Docker進行安裝,它的界面和平時在網頁中和其他大模型聊天非常相似。當然,大家也可以選擇其他的方式,比如使用page assist瀏覽器插件,lobechat,cherry studio等。

如果大家之前未安裝過Docker,可以參考下方教程進行Docker安裝:Docker安裝——Linux、Windows、MacOS

3.1 Open WebUI安裝運行

訪問Open WebUI的github頁面: https://github.com/open-webui/open-webui

如果你的Ollama和Open WebUI在同一臺主機,執行這行命令在cmd終端中就可以在本地快速進行部署:

image-20240412140749937

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

將上邊在Docker中部署Open WebUI的命令復制后粘貼到終端中,回車:

image-20240412144132799

安裝完成后,打開Docker Desktop,可以看到Open WebUI的web界面地址為:https://localhost:3000

image-20240412144401182

點擊后會在瀏覽器打開登錄界面:

image-20240412144744192

使用自己的郵箱注冊賬號,密碼要記好,下次登錄時需要用到:

image-20240412144927140

添加模型后就能在瀏覽器中使用web界面來和Gemma3 27B模型聊天了!

image-20250408162703645

3.2 添加模型

點擊右上角的設置,可以修改當前界面的語言為簡體中文:然后點擊保存即可。

image-20240412145306289

點擊上方選擇一個模型旁邊的加號+可以增加大模型,點擊下拉按鈕可以選擇當前使用哪一個已安裝的模型,這里選擇剛才安裝的gemma3:27b,接下來就可以愉快的跟大模型在網頁中聊天了!

image-20250408162829645

image-20250408164042496

到這里就成功在Windows電腦本地部署了gemma3:27b模型并使用Open WebUI在網頁中與AI交互啦。

3.3 多模態測試

現在我們上傳一張圖片測試一下效果:(點擊對話框左側加號即可上傳圖片)

image-20250408165103486

確實有點東西,識別物品的效果還是不錯的,還給出了一個結論。

再來測試上傳一張人物照片給它,讓它分析一下拍攝效果并給出優化建議:

image-20250408170901214

1744103447878

感覺似乎分析的也還行,大家感興趣的話也可以稍后自己部署一下進行測試。

4. 安裝內網穿透工具

但如果想實現不在同一網絡環境下,也能隨時隨地在瀏覽器中使用Open WebUI與本地部署的gemma3:27b大模型在網頁中聊天,那就需要借助cpolar內網穿透工具來實現公網訪問了!接下來介紹一下如何安裝cpolar內網穿透,過程同樣非常簡單:

首先進入cpolar官網:

cpolar官網地址: https://www.cpolar.com

點擊免費使用注冊一個賬號,并下載最新版本的cpolar:

image-20250307152003085登錄成功后,點擊下載cpolar到本地并安裝(一路默認安裝即可)本教程選擇下載Windows版本。

image-20240319175308664

cpolar安裝成功后,在瀏覽器上訪問http://localhost:9200,使用cpolar賬號登錄,登錄后即可看到配置界面,結下來在WebUI管理界面配置即可。

img

接下來配置一下 Open WebUI 的公網地址:

登錄后,點擊左側儀表盤的隧道管理——創建隧道,

  • 隧道名稱:gem27(可自定義命名,注意不要與已有的隧道名稱重復)
  • 協議:選擇 http
  • 本地地址:3000 (本地訪問的地址)
  • 域名類型:選擇隨機域名
  • 地區:選擇China Top

1744103682229

隧道創建成功后,點擊左側的狀態——在線隧道列表,查看所生成的公網訪問地址,有兩種訪問方式,一種是http 和https:

image-20250408171521306

使用上面的任意一個公網地址,在手機或任意設備的瀏覽器進行登錄訪問,即可成功看到 Open WebUI 界面,這樣一個公網地址且可以遠程訪問就創建好了,使用了cpolar的公網域名,無需自己購買云服務器,即可到隨時在線訪問Open WebUI來在網頁中使用本地部署的gemma3:27b大模型了!

image-20250408171805771

小結

為了方便演示,我們在上邊的操作過程中使用cpolar生成的HTTP公網地址隧道,其公網地址是隨機生成的。這種隨機地址的優勢在于建立速度快,可以立即使用。然而,它的缺點是網址是隨機生成,這個地址在24小時內會發生隨機變化,更適合于臨時使用。

如果有長期遠程訪問Open WebUI使用gemma3:27b模型,或者異地訪問與使用其他本地部署的服務的需求,但又不想每天重新配置公網地址,還想讓公網地址好看又好記并體驗更多功能與更快的帶寬,那我推薦大家選擇使用固定的二級子域名方式來為Open WebUI配置一個公網地址。

5. 配置固定公網地址

接下來演示如何為其配置固定的HTTP公網地址,該地址不會變化,方便分享給別人長期查看你部署的項目,而無需每天重復修改服務器地址。

配置固定http端口地址需要將cpolar升級到專業版套餐或以上。

登錄cpolar官網,點擊左側的預留,選擇保留二級子域名,設置一個二級子域名名稱,點擊保留:

image-20250408171952309

保留成功后復制保留成功的二級子域名的名稱:mygem27,大家也可以設置自己喜歡的名稱。

image-20250408172009637

返回Cpolar web UI管理界面,點擊左側儀表盤的隧道管理——隧道列表,找到所要配置的隧道:gem27,點擊右側的編輯:

image-20250408172111336

修改隧道信息,將保留成功的二級子域名配置到隧道中

  • 域名類型:選擇二級子域名
  • Sub Domain:填寫保留成功的二級子域名:mygem27

點擊更新(注意,點擊一次更新即可,不需要重復提交)

image-20250408172153785

更新完成后,打開在線隧道列表,可以看到公網地址已經發生變化,地址名稱也變成了固定的二級子域名名稱的域名:

image-20250408172230906

最后,我們使用上邊任意一個固定的公網地址訪問,可以看到訪問成功,這樣一個固定且永久不變的公網地址就設置好了,可以隨時隨地在公網環境異地在線訪問本地部署的Open WebUI來使用gemma3:27b大模型了!

image-20250408172435086

總結

經過簡單的測試,這款多模態大模型的表現確實令人驚艷,不僅在性能上表現優異,而且還能在家用級硬件上輕松運行。這無疑大大降低了普通用戶接觸和使用高端AI技術的門檻。未來,Gemma3的發展潛力無限,讓我們拭目以待吧!如果你也對這個項目感興趣,不妨動手試試看,有任何疑問歡迎隨時留言交流,我們共同探討、一起成長!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/80705.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/80705.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/80705.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Element Plus對話框(ElDialog)全面指南:打造靈活彈窗交互

📌 開篇導語 對話框是Web應用中實現用戶交互的核心組件之一,常用于信息確認、表單提交或詳情展示。Element Plus的ElDialog組件以高擴展性和優雅動效著稱,支持高度定制化開發。本文將從基礎配置到進階技巧,手把手教你掌握對話框組…

解決WSL、Ubuntu的.ico圖標不正確顯示縮略圖

解決WSL、Ubuntu的.ico圖標不正確顯示縮略圖 問題描述 Win10系統中由于更新了某些軟件,篡改了默認的圖像顯示軟件,導致WSL等軟件未能成功顯示圖標,表現如下: 解決方法 將ico文件的默認打開方式更改為“畫圖”,如下…

[數據結構高階]并查集初識、手撕、可以解決哪類問題?

標題:[數據結構高階]并查集初識、手撕、可以解決哪類問題? 水墨不寫bug 文章目錄 一、認識并查集二、模擬實現并查集三、用并查集解決問題1、[省份的數量](https://leetcode.cn/problems/number-of-provinces/)2、[等式方程的可滿足性](https://leetcode…

如何快速入門大模型?

學習大模型的流程是什么 ? 提示詞工程:只需掌握提問技巧即可使用大模型,通過優化提問方式獲得更精準的模型輸出套殼應用開發:在大模型生態上開發業務層產品(如AI主播、AI小助手等),只需調用API…

《AI大模型應知應會100篇》第59篇:Flowise:無代碼搭建大模型應用

第59篇:Flowise:無代碼搭建大模型應用 摘要:本文將詳細探討 Flowise 無代碼平臺的核心特性、使用方法和最佳實踐,提供從安裝到部署的全流程指南,幫助開發者和非技術用戶快速構建復雜的大模型應用。文章結合實戰案例與配…

python打卡day23@浙大疏錦行

知識回顧: 1. 轉化器和估計器的概念 2. 管道工程 3. ColumnTransformer和Pipeline類 作業: 整理下全部邏輯的先后順序,看看能不能制作出適合所有機器學習的通用pipeline 一、導入數據庫 import pandas as pd import numpy as np import matplo…

Vue.js框架的優缺點

別再讓才華被埋沒,別再讓github 項目蒙塵!github star 請點擊 GitHub 在線專業服務直通車GitHub賦能精靈 - 艾米莉,立即加入這場席卷全球開發者的星光革命!若你有快速提升github Star github 加星數的需求,訪問taimili…

交易流水表的分庫分表設計

交易流水表的分庫分表設計需要結合業務特點、數據增長趨勢和查詢模式,以下是常見的分庫分表策略及實施建議: 一、分庫分表核心目標 解決性能瓶頸:應對高并發寫入和查詢壓力。數據均衡分布:避免單庫/單表數據傾斜。簡化運維&#…

操作系統學習筆記第3章 (竟成)

第 3 章 內存管理 【考綱內容】 1.內存管理基礎: 1.內存管理的基本概念:邏輯地址空間與物理地址空間;地址變換;內存共享;內存保護;內存分配與回收; 2.連續分配管理方式; 3.頁式管理&…

中科院無人機導航物流配送的智能變革!LogisticsVLN:基于無人機視覺語言導航的低空終端配送系統

作者:Xinyuan Zhang, Yonglin Tian, Fei Lin, Yue Liu, Jing Ma, Kornlia Sra Szatmry, Fei-Yue Wang 單位:中國科學院大學人工智能學院,中科院自動化研究所多模態人工智能系統國家重點實驗室,澳門科技大學創新工程學院工程科學系…

1.10-數據傳輸格式

1.10-數據傳輸格式 在對網站進行滲透測試時,使用目標服務器規定的數據傳輸格式來進行 payload 測試非常關鍵 如果不按規定格式發送數據,服務器可能直接拒絕請求或返回錯誤響應,比如: 接口要求 JSON 格式,而你用的是…

dfs 第一次加訓 詳解 下

目錄 P1706 全排列問題 思路 B3618 尋找團伙 思路 B3621 枚舉元組 思路 B3622 枚舉子集(遞歸實現指數型枚舉) 思路 B3623 枚舉排列(遞歸實現排列型枚舉) B3625 迷宮尋路 思路 P6183 [USACO10MAR] The Rock Game S 總結…

通信網絡編程——JAVA

1.計算機網絡 IP 定義與作用 :IP 地址是在網絡中用于標識設備的數字標簽,它允許網絡中的設備之間相互定位和通信。每一個設備在特定網絡環境下都有一個唯一的 IP 地址,以此來確定其在網絡中的位置。 分類 :常見的 IP 地址分為 I…

#在 CentOS 7 中手動編譯安裝軟件操作及原理

在 CentOS 7 中,手動編譯安裝軟件(即從源代碼編譯安裝)是一種高度靈活的方式,適用于需要定制化軟件功能、優化性能或安裝官方倉庫未提供的軟件版本的場景。以下是針對手動編譯安裝的詳細說明,包括原理、步驟、注意事項…

菊廠0510面試手撕題目解答

題目 輸入一個整數數組,返回該數組中最小差出現的次數。 示例1:輸入:[1,3,7,5,9,12],輸出:4,最小差為2,共出現4次; 示例2:輸入:[90,98,90,90,1,1]&#xf…

C——五子棋小游戲

前言 五子棋,又稱連珠棋,是一種雙人對弈的棋類游戲。游戲目標是在一個棋盤上,通過在橫、豎、斜線上依次放置棋子,使自己的五個棋子連成一線,即橫線、豎線或斜線,且無被對手堵住的空位,從而獲勝…

ik 分詞器 設置自定義詞典

進入 ES 的安裝目錄,進入 /elasticsearch-8.10.0/plugins/ik/config/ 文件夾目錄,打開 IKAnalyzer.cfg.xml 文件進行配置。 一、添加 自定義擴展詞典 擴展詞:就是不想哪些詞分開,讓他們成為一個詞,比如“蒙的全是對…

Linux筆記---信號(上)

1. 信號的概念 Linux下的信號機制是一種進程間通信(IPC)的方式,用于在不同進程之間傳遞信息。 信號是一種異步的信息傳遞方式,這意味著發送信號的進程只發送由信號作為載體的命令,而并不關心接收信號的進程如何處置這…

UG 二次開發- UG內部調用DLL

【1】用VS新建一個dll工程 將項目設置為x64平臺(這步很重要,否則程序無法編譯成功) 【2】添加UG頭文件目錄,屬性頁->C/C->常規->附加包含目錄 【3】添加UG庫所在目錄,屬性頁->鏈接器->常規->附加庫目…

wordcount在mapreduce的例子

1.啟動集群 2.創建項目 項目結構為&#xff1a; 3.pom.xml文件為 <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0.0 http://mave…