目錄
text-generation-webui部分
開放對外API
通義千問部分
遠程API對話測試部分
text-generation-webui部分
本來不想發這個文章的，但是自己部署的時候看了挺多人的帖子，很多發的不全面，要么就是跟著他們流程走有些小問題啥的，這回我自己在網上和代碼里研究了一下。
首先下載項目包：https://github.com/oobabooga/text-generation-webui
你自己用git克隆還是直接下zip隨意
?解壓之后，你的文件結構是這樣的，這里我為了方便給看清文件結構，用windows截得圖。
?windows也能安，而且我認為windows更容易安
我用紅框標注了我們要使用的文件
如果你是win系統，那么就啟動start_windows.bat，如果你是linux，就切換到目標目錄下，執行./start_linux.sh
這里截圖依舊先用windows舉例，因為他前兩個詢問是一樣的?
他會問你你的顯卡是什么型號的，你CUDA版本需不需要安裝12.1，我推薦，服務器最好是N卡，也最好是N卡
如果N卡，第一個問題答A選項，第二個問題必點N
接下來會執行安裝CUDA等環境，不過你90%概率是會報錯的。
報錯不要慌，你再啟動start命令是啟動不來的了，接下來要執框里那個cmd命令
這個命令是讓你進入到text-generation-webui自動給你配好的虛擬環境執行命令用的，你要下載什么包，需要進入env里來執行命令，之前我們用start命令首次啟動自動安裝環境的時候，他非常大的概率會報錯，無非就是環境沒下全，依賴沒下全，那么要修復他，需要手動安裝依賴。
執行命令pip install -r requirements.txt（注意一定要用cmd進入到env虛擬環境里執行）
我下面截圖是因為我環境安裝過了，所以沒有那么多下載了，正常你pip install，是會進行很多下載的
這里面還有個坑，而且是很大的坑，如果在pip安裝依賴的時候，你報紅字了，別擔心，基本上99%概率網絡問題，他這個text-generation-webui只要你下的是官方最新的包，你執行start命令的時候無論虛擬環境還是python3.11和cuda，他都是給你對應好的，或者說你要是擔心就自己下個python3.11，所以不存在他的requirements.txt文件有問題啥的，那么報紅字，基本上不是timeout，就是HTTP啥啥啥的，就是網速問題，這玩意純看臉，一次不行就多次，遲早能下載下來，windows好解決是windows可以魔法上網，能解決網的問題
關于他項目里有好多requirements你分不清，可以查看官方文檔里有說明，一般用requirements.txt那個就行
pip安裝依賴全下下來完全沒紅字后，基本上就不會有問題了，你整套已經搭建起來了
接下來測試啟動，依舊還是用start命令
出現URL說明已經啟動成功了，如果報錯，那么繼續進入env里pip安裝requirements文件內容
開放對外API
如果已經看到啟動成功后，那么我們進行下一部，對外api
我們看到他的url地址是127.0.0.1地址，但是這個地址是不對外開放的，在我們已解決防火墻的問題之后我們要讓他以0.0.0.0來啟動，其他好多文章都說什么用其他方式做轉發，其實沒那么麻煩，我們要設置一個配置文件就可以解決
打開文件，開始只有三行注釋，意思讓你自己配置監聽ip、端口和對外api，這里我們端口沒必要改，當然你要想設置其他端口，添加listen-port就行，這里我默認7860端口webui頁面，5000端口對外api
改完保存，再重新啟動?
OK我們的web頁面和api都啟動了，用telnet測試一下。這里我直接用我本地電腦連接服務器的web頁面進行測試，可以看到我們的頁面已經進來了，完全沒問題
通義千問部分
那么下一步，安裝文本大模型，這里我選擇通義千問，如果你有其他想部署的隨便挑
我們先去huggingface網站去挑選我們想要安裝的模型
地址：https://huggingface.co/models
這里我搜索的千問2.5，由于我只是調試測試用，所以不用安72B那么大的，建議了解大模型72B，32B等區別，顯存不高的不是給你那么玩的
我挑選的7B
?記住這個地址結構，因為我們要在web頁面下載用
來到web頁面，選擇model，按照他提示的格式寫，點下載
我們看報錯了，網連不上，這也就是我說的windows安裝比linux省事多了
?那么我們自己直接把model文件下載到本地然后上傳到服務器
我這里已經上傳完解壓完了
那么我們回到web頁面，可以看到model中有顯示了
選擇模型，點右側按鈕加載，看控制臺加載過程
?
?如果加載成功他會顯示success load
接下來測試chat對話，測試成功
遠程API對話測試部分
那么下一步，我們要用VOXTA測試下遠程連接API可不可以對話，這里先簡單說下VOXTA，VOXTA是簡單的把文本轉換成語音式的一個服務，特色是他的AI有角色卡，可以設定AI的身份，年齡，性格特征，看起來像活生生的一個人，具體VOXTA是給哪個方面服務的，這里不方便說，大家懂的都懂。😁😁😁😁😁
啟動VOXTA，點右上角插件配置
在TEXT生成那個插件，設置，因為我們用的是text-generation-webui框架，所以配置也是加這個，如果沒有下面Add服務然后添加就好了
設置我們的遠程API
這里測試對話成功，而且是語音輸出，由于文案看不到語音結果，所以截圖看不出了大家知道可以完全語音交互了就行
?到這里我們整套流程就結束了😁😁😁😁😁😁😁😁😁😁😁😁
