FastGPT連接OneAI接入網絡模型

1.準備工作

本文檔參考FastGPT的官方文檔

主機ip	接入模型	主機名稱	系統
192.168.37.200	文心一言	fastgpt	centos7

部署架構圖

本架構是用docker-compose進行部署

安裝docker
[root@fastgpt ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@fastgpt ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@fastgpt ~]# sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
[root@fastgpt ~]# yum -y install docker-ce
[root@fastgpt ~]# systemctl enable --now docker
[root@fastgpt ~]# systemctl disable --now firewalld
[root@fastgpt ~]# setenforce 0安裝docker-compose
[root@fastgpt ~]# curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose% Total    % Received % Xferd  Average Speed   Time    Time     Time  CurrentDload  Upload   Total   Spent    Left  Speed0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100 56.6M  100 56.6M    0     0   168k      0  0:05:44  0:05:44 --:--:--  225k
[root@fastgpt ~]# chmod +x /usr/local/bin/docker-compose
[root@fastgpt ~]# docker -v
Docker version 26.1.4, build 5650f9b
[root@fastgpt ~]# docker-compose -v
Docker Compose version v2.20.3

2.開始部署

2.1下載 docker-compose.yml

[root@fastgpt ~]# mkdir fastgpt
[root@fastgpt ~]# cd fastgpt/
[root@fastgpt fastgpt]# curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json% Total    % Received % Xferd  Average Speed   Time    Time     Time  CurrentDload  Upload   Total   Spent    Left  Speed
100  5109  100  5109    0     0    236      0  0:00:21  0:00:21 --:--:--  1122
[root@fastgpt fastgpt]# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml% Total    % Received % Xferd  Average Speed   Time    Time     Time  CurrentDload  Upload   Total   Spent    Left  Speed
100  5577  100  5577    0     0   9613      0 --:--:-- --:--:-- --:--:--  9598
[root@fastgpt fastgpt]# ls
config.json  docker-compose.yml

2.2修改docker-compose.yml里的參數

有些容器的鏡像可能很難拉下來，這時可以配一個加速器或者把docker-compose.yml里的鏡像源換成國內的阿里源

[root@fastgpt fastgpt]# docker-compose up -d
[root@fastgpt fastgpt]# sleep 10
[root@fastgpt fastgpt]# docker restart oneapi    #重啟一次oneapi(由于OneAPI的默認Key有點問題，不重啟的話會提示找不到渠道，臨時手動重啟一次解決，等待作者修復)

3.打開FastGPT添加模型

可以通過ip:3000訪問FastGPT，默認賬號為root密碼為1234。

安裝成功之后

訪問時注意關防火墻

我們訪問上去是不能用的，需要讓oneapi當作一個跳板來連接外部模型

3.1打開OneAPI

通過ip:3001訪問OneAPI，默認賬戶為root密碼是123456

3.2接入網絡模型

以文心一言為例

創建一個渠道

注意在填寫密鑰的時候一定要是apikey|SecretKey的格式，我因為只填寫的apikey導致一直測試不了花了我1個小時時間排錯

測試一下

創建一個令牌

創建好令牌之后就可以獲取OneAPI的APIkey了

獲取到key之后回到docker-compose.yml中來

- OPENAI_BASE_URL=http://192.168.37.200:3001/v1   #這里填寫OneAPI的訪問地址，并在后面加上/v1
- CHAT_API_KEY=sk-jp8hCd3nJL0Z0fdg2b5d9aB3B1Bd4f8686Ae9fF62eA06eB1  #這里填寫我們剛剛獲取的APIkey

然后再修改config.json文件

"llmModels": [...{"model": "ERNIE-4.0-8K", // 這里的模型需要對應 One API 的模型"name": "文心一言", // 對外展示的名稱"avatar": "/imgs/model/ernie.svg", // 模型的logo"maxContext": 16000, // 最大上下文"maxResponse": 4000, // 最大回復"quoteMaxToken": 13000, // 最大引用內容"maxTemperature": 1.2, // 最大溫度"charsPointsPrice": 0,"censor": false,"vision": false, // 是否支持圖片輸入"datasetProcess": false, // 是否設置為知識庫處理模型"usedInClassify": true, // 是否用于問題分類"usedInExtractFields": true, // 是否用于字段提取"usedInToolCall": true, // 是否用于工具調用"usedInQueryExtension": true, // 是否用于問題優化"toolChoice": true, // 是否支持工具選擇"functionCall": false, // 是否支持函數調用"customCQPrompt": "", // 自定義文本分類提示詞（不支持工具和函數調用的模型"customExtractPrompt": "", // 自定義內容提取提示詞"defaultSystemChatPrompt": "", // 對話默認攜帶的系統提示詞"defaultConfig":{}  // 請求API時，挾帶一些默認配置（比如 GLM4 的 top_p）}...
],

添加模型向量

"vectorModels": [......{"model": "text-embedding-ada-002","name": "Embedding-2","avatar": "/imgs/model/openai.svg","charsPointsPrice": 0,"defaultToken": 700,"maxToken": 3000,"weight": 100},......
]

3.3重啟服務

[root@fastgpt fastgpt]# docker-compose down && docker-compose up -d

這里就可以選擇文心一言進行對話了

我們嘗試進行一次對話

這樣我們就接入好了網絡模型