文章目錄
- 前言
- 1. 安裝Ollama
- 2.Gemma3模型安裝與運行
- 3. 安裝Open WebUI圖形化界面
- 3.1 Open WebUI安裝運行
- 3.2 添加模型
- 3.3 多模態測試
- 4. 安裝內網穿透工具
- 5. 配置固定公網地址
- 總結
前言
如今各家的AI大模型廝殺得如火如荼,每天都有新的突破。今天我要給大家安利一款來自谷歌的Gemma3開源大模型。這款模型有10億、40億、120億和270億參數等多個版本,讓你可以根據自己的需求自由選擇。
在多項基準測試中,Gemma 3系列的表現相當搶眼,尤其是27B參數的版本更是力壓群雄,擊敗了o1-preview、o3-mini high和DeepSeek V3等強敵。它不僅支持140多種語言,中文表現也十分出色,更令人驚喜的是其強大的多模態能力——能夠處理視覺輸入并生成文本輸出。
接下來,就讓我們一起動手,在家用級Windows電腦上安裝部署Gemma3:27B大模型,并搭配一個酷炫的WebUI界面,讓你與AI互動更加得心應手。
1. 安裝Ollama
本例中使用的是Windows11系統專業版,通過Ollama運行Gemma3:27B大模型,之前曾經發布過如何在Windows安裝Ollama的教程,有需要的同學可以看看這篇文章:Windows本地部署Deepseek-R1大模型并使用Web界面遠程交互
簡單來說,就是訪問Ollama的官網:Download Ollama on Windows
下載對應版本的ollama安裝程序并安裝:
2.Gemma3模型安裝與運行
然后在Ollama的官網點擊Models,可以看到排在最上邊的就是Gemma3模型全家桶:
點進去之后,在左側的下拉選項中能看到目前有4個量級的模型,分別是1b/4b/12b/27b和對應所需的儲存空間:
本例使用gemma3:27b模型進行演示,**支持多模態(視覺)**27B 參數模型(128k 上下文窗口),需要準備20G以上硬盤空間,右邊是運行命令:
Ollama安裝完成之后,打開cmd或者powershell等終端工具,執行命令就可以下載模型了:
ollama run gemma3:27b
PS:默認會下載模型到C盤,如果想修改下載位置,可以在終端中執行下方命令來指定模型文件的存放目錄,這里以d:\ollama為例,大家可以自定義:
set OLLAMA_MODELS=d:\ollama
如果你之前安裝過ollama,在執行命令后出現如下圖提示,那么關閉終端,請先升級ollama到最新版本。
更新后,即可正常下載:
模型下載完成之后,安裝成功后會提示success:
自動進入對話狀態,直接輸入內容就能提問了:
3. 安裝Open WebUI圖形化界面
現在我們已經能夠在本地Windows電腦上使用Gemma3 27B模型解答問題了,但在命令行中對話可能不是很美觀,在復制回答時也不太方便,我們可以通過安裝一個圖形化界面來解決這個問題。
不過在此之前,我們需要配置Ollama的環境變量,在終端中分別執行下方命令以便后續遠程調用大模型:
setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"
然后點擊電腦桌面右下角的ollama圖標退出并重啟服務。
本例以Open WebUI這個圖形化界面為例,使用Docker進行安裝,它的界面和平時在網頁中和其他大模型聊天非常相似。當然,大家也可以選擇其他的方式,比如使用page assist瀏覽器插件,lobechat,cherry studio等。
如果大家之前未安裝過Docker,可以參考下方教程進行Docker安裝:Docker安裝——Linux、Windows、MacOS
3.1 Open WebUI安裝運行
訪問Open WebUI的github頁面: https://github.com/open-webui/open-webui
如果你的Ollama和Open WebUI在同一臺主機,執行這行命令在cmd
終端中就可以在本地快速進行部署:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
將上邊在Docker中部署Open WebUI的命令復制后粘貼到終端中,回車:
安裝完成后,打開Docker Desktop,可以看到Open WebUI的web界面地址為:https://localhost:3000
點擊后會在瀏覽器打開登錄界面:
使用自己的郵箱注冊賬號,密碼要記好,下次登錄時需要用到:
添加模型后就能在瀏覽器中使用web界面來和Gemma3 27B模型聊天了!
3.2 添加模型
點擊右上角的設置,可以修改當前界面的語言為簡體中文:然后點擊保存即可。
點擊上方選擇一個模型旁邊的加號+可以增加大模型,點擊下拉按鈕可以選擇當前使用哪一個已安裝的模型,這里選擇剛才安裝的gemma3:27b,接下來就可以愉快的跟大模型在網頁中聊天了!
到這里就成功在Windows電腦本地部署了gemma3:27b模型并使用Open WebUI在網頁中與AI交互啦。
3.3 多模態測試
現在我們上傳一張圖片測試一下效果:(點擊對話框左側加號即可上傳圖片)
確實有點東西,識別物品的效果還是不錯的,還給出了一個結論。
再來測試上傳一張人物照片給它,讓它分析一下拍攝效果并給出優化建議:
感覺似乎分析的也還行,大家感興趣的話也可以稍后自己部署一下進行測試。
4. 安裝內網穿透工具
但如果想實現不在同一網絡環境下,也能隨時隨地在瀏覽器中使用Open WebUI與本地部署的gemma3:27b大模型在網頁中聊天,那就需要借助cpolar內網穿透工具來實現公網訪問了!接下來介紹一下如何安裝cpolar內網穿透,過程同樣非常簡單:
首先進入cpolar官網:
cpolar官網地址: https://www.cpolar.com
點擊免費使用
注冊一個賬號,并下載最新版本的cpolar:
登錄成功后,點擊下載cpolar到本地并安裝(一路默認安裝即可)本教程選擇下載Windows版本。
cpolar安裝成功后,在瀏覽器上訪問http://localhost:9200,使用cpolar賬號登錄,登錄后即可看到配置界面,結下來在WebUI管理界面配置即可。
接下來配置一下 Open WebUI 的公網地址:
登錄后,點擊左側儀表盤的隧道管理——創建隧道,
- 隧道名稱:gem27(可自定義命名,注意不要與已有的隧道名稱重復)
- 協議:選擇 http
- 本地地址:3000 (本地訪問的地址)
- 域名類型:選擇隨機域名
- 地區:選擇China Top
隧道創建成功后,點擊左側的狀態——在線隧道列表,查看所生成的公網訪問地址,有兩種訪問方式,一種是http 和https:
使用上面的任意一個公網地址,在手機或任意設備的瀏覽器進行登錄訪問,即可成功看到 Open WebUI 界面,這樣一個公網地址且可以遠程訪問就創建好了,使用了cpolar的公網域名,無需自己購買云服務器,即可到隨時在線訪問Open WebUI來在網頁中使用本地部署的gemma3:27b大模型了!
小結
為了方便演示,我們在上邊的操作過程中使用cpolar生成的HTTP公網地址隧道,其公網地址是隨機生成的。這種隨機地址的優勢在于建立速度快,可以立即使用。然而,它的缺點是網址是隨機生成,這個地址在24小時內會發生隨機變化,更適合于臨時使用。
如果有長期遠程訪問Open WebUI使用gemma3:27b模型,或者異地訪問與使用其他本地部署的服務的需求,但又不想每天重新配置公網地址,還想讓公網地址好看又好記并體驗更多功能與更快的帶寬,那我推薦大家選擇使用固定的二級子域名方式來為Open WebUI配置一個公網地址。
5. 配置固定公網地址
接下來演示如何為其配置固定的HTTP公網地址,該地址不會變化,方便分享給別人長期查看你部署的項目,而無需每天重復修改服務器地址。
配置固定http端口地址需要將cpolar升級到專業版套餐或以上。
登錄cpolar官網,點擊左側的預留,選擇保留二級子域名,設置一個二級子域名名稱,點擊保留:
保留成功后復制保留成功的二級子域名的名稱:mygem27
,大家也可以設置自己喜歡的名稱。
返回Cpolar web UI管理界面,點擊左側儀表盤的隧道管理——隧道列表,找到所要配置的隧道:gem27
,點擊右側的編輯:
修改隧道信息,將保留成功的二級子域名配置到隧道中
- 域名類型:選擇二級子域名
- Sub Domain:填寫保留成功的二級子域名:
mygem27
點擊更新
(注意,點擊一次更新即可,不需要重復提交)
更新完成后,打開在線隧道列表,可以看到公網地址已經發生變化,地址名稱也變成了固定的二級子域名名稱的域名:
最后,我們使用上邊任意一個固定的公網地址訪問,可以看到訪問成功,這樣一個固定且永久不變的公網地址就設置好了,可以隨時隨地在公網環境異地在線訪問本地部署的Open WebUI來使用gemma3:27b大模型了!
總結
經過簡單的測試,這款多模態大模型的表現確實令人驚艷,不僅在性能上表現優異,而且還能在家用級硬件上輕松運行。這無疑大大降低了普通用戶接觸和使用高端AI技術的門檻。未來,Gemma3的發展潛力無限,讓我們拭目以待吧!如果你也對這個項目感興趣,不妨動手試試看,有任何疑問歡迎隨時留言交流,我們共同探討、一起成長!