前言
deepseek-r1 14b模型,32b模型部署在本地電腦上也能實現非常好的性能。
因此有興趣研究了下如何在本地部署。
同時最新流行mauns工作流,他們提供一句話實現網頁端任意應用的能力。實際上,你也可以用本地的模型來實現離線的ai工作流功能。
不過這里講述本地如何首先搭建大模型,一步步來
具體的實現原理,操作步驟如下
原理
1.安裝ollama
作用是提供大模型的運行環境,以及提供外部的大模型調用api接口
你沒看錯,本地部署的大模型也可以提供api接口,這也是后來我們可以使用其他ui界面來訪問這個本地大模型的基礎
訪問https://ollama.com/,下載ollama.exe
安裝后,然后在命令框中查看是否可用,可用如圖所示
2.選擇模型下載
如圖所見,可以選擇qwn32b模型,deepseekr1模型等等
3.使用命令配置模型,等待下載好即可
命令敲入cmd框中,模型將會自動下載,等待下載好即可。
4.查看可用模型列表,啟動模型
可以根據如圖片中命令,查看已經安裝的模型名稱,然后啟動即可
5.啟動模型,對話
ollama run deepseek-r1:14b
6.設置ui界面對話
去chorme擴展商店中搜索page assist插件,安裝
在設置中勾選簡體中文,即可展示
同時因為ollama為其安裝的模型提供了api接口,這個ui插件,也可以訪問那些大模型,進行流暢對話
同時,也可以為模型構建知識庫,讓其回答的更加貼合知識庫語料
同時,局域網內,別人訪問你的大模型api也可以訪問你本地的大模型進行交流
6.1另外一款ui軟件
如圖所配置即可,chatbox為模型提供了圖片和文檔上傳功能,更加符合日常使用需求。