大模型的部署搭建

真的好久沒有進行博客的寫作了,原因,最近的自己生活有點小波動,

最近想想還是有空寫一篇文章,這篇文章的描述是學習的當下熱門AI

本期,介紹的也是AI相關的LLM(大語言模型)

這個好多人應該都是模糊的,包括我一開始沒有學習,就感覺牛逼的不行,今天我們親自部署實踐下

第一步:Ollama安裝

首先我們需要下載一個管理大模型的軟件Ollama

Ollama下載的地址:有的小伙伴下載不下來,可以私我,給你發離線exe

接下來,我們靜等安裝成功就可以了

檢測是否安裝成功: 在瀏覽器輸入:localhost:11434 如果出現如下圖所示說明已經成功Ollama is running

2.打開命令行終端

win+r鍵彈出窗口,輸入cmd,打開cmd窗口,輸入命令ollama,可以看到所有的命令

接下來,我們下載大模型

輸入命令:ollama run llama3.2 我們下載的llama3.2的模型

下載需要一些時間,我們靜靜的等待就行,直到出現下圖所示,表示安裝成功,接下來,我們進行第二步:

第二步: 安裝和配置UI界面

目的: 為了和本地的模型進行交互,我們也不能一直在黑窗口里面干活啊!哈哈哈!~

安裝可視化界面的軟件: MaxKB: 是基于大語言模型和RAG的知識庫問答系統

當中的RAG我解釋下:

• 就是Retrieval檢索+ Argument增強+Generation生成這三個詞組成

在安裝之前,我們本地要先安裝dockerDesktop,安裝好deskstop,我們要打開Hyper

然后我們打開cmd窗口,輸入如下命令:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
##解釋說明
docker run：啟動一個新容器
-d：以后臺(守護進程)模式運行容器
--name=maxkb：給容器命名為"maxkb"
-p 8080:8080：將主機的8080端口映射到容器的8080端口
-v ~/.maxkb:/var/lib/postgresql/data：將主機的~/.maxkb目錄掛載到容器的/var/lib/postgresql/data目錄
1panel/maxkb：使用的Docker鏡像名稱

等待下載

第二種方法:直接一鍵安裝

# Linux 操作系統
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb# Windows 操作系統
docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb

下載好后:

我們在瀏覽器輸入localhost:8080,輸入用戶密碼: admin(MaxKB@123..)

登錄后,我們進入模型設置選項

詳細信息

選擇好之后,我們,就看到如下圖所示的ollama的模型

選擇應用:

到這就是可以了,你自己本地的模型就搭建好了,可以自己去用了

比如我們輸入個簡單的hello

OK ,這就可以了,不過docker那塊要好好安裝下

下期我來寫一篇自己搭建一個AI視頻生成器的文章,讓大家對網上博主弄得收費網站啥的,就是套殼兒!!!