1. 操作系統環境

CPU：20核 ? Xeon(R) Platinum 8457C
內存：64GB
GPU：4090
操作系統：KylinOS-V10-SP3

2. 安裝docker、docker-compose、fastgpt

下載安裝docker、docker-compose

1. 下載docker
docker 下載地址： https://download.docker.com/linux/static/stable/x86_64/docker-20.10.0.tgz
tar -zxvf docker-20.10.0.tgz
mv docker/* /usr/bin2. 下載docker-compose
下載 docker-compose，地址為 https://github.com/docker/compose/releases
找到docker-compose-linux-x86_64并進行下載
mv docker-compose-linux-x86_64 /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
docker-compose -v-------------------配置環境----------------------
vi /usr/lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target

下載fastgpt docker-compose 的腳本

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json# pgvector 版本(測試推薦，簡單快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml
# oceanbase 版本（需要將init.sql和docker-compose.yml放在同一個文件夾，方便掛載）
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-oceanbase/docker-compose.yml
# curl -o init.sql https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-oceanbase/init.sql
# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-zilliz.yml# 啟動容器
docker-compose up -d

導出fastgpt鏡像并導入離線服務器

docker支持對安裝的容器進行打包，打包后導出到離線服務器可以支持離線安裝部署。

# 導出所有鏡像
docker save $(docker images --format '{{.Repository}}:{{.Tag}}') -o fastgpt.tar在離線環境中，在預先安裝好docker和docker-compose的情況下可以通過如下命令導入進行，并運行。命令如下：#導入離線服務器的docker環境docker load -i ?fastgpt.tar
# 啟動容器
docker-compose up -d

3. fastgpt使用本地ollama模型

測試ollama正確

curl http://{ip}:11434/api/generate -d '{"model": "deepseek-r1:7b","prompt": "Hello, how are you?"}'

在fastgpt頁面配置ollama及模型

在fastgpt測試模型

prompt 功能測試用例

通過prompt方式引導模型按照一定格式思考和回復輸入內容

1. prompt 填寫內容# 任務描述
請根據對話文本的內容，仔細分析并推測 B 的性別、年齡、職業、社保交費年限，以及社保交費地等相關信息，并按照 Markdown
表格格式輸出。
# 輸出格式
｜字段名稱｜值｜推斷理由｜2. 對話框內容
A: 嗨，兄弟，你家哪里啊？
B: 老家在湖北襄陽那邊。
A: 巧了，老鄉啊，你在北京上班幾年了？
B: 11 年多了，2012 年大學畢業就來這個公司了。
A: 工作忙嗎，每天工作啥內容，強度大嗎？
B: 也就寫寫 PRD 什么的，工作很累。
A: 你社保一直在工作地交的嗎，從哪一年開始交的？
B: 是啊，從第一年工作就開始交了。
根據對話文本，推斷出 B 的性別、年齡、職業、社保繳費年限和社保繳費地信息3. 測試結果（deepseek 7B）
<think>
好的，我現在需要分析用戶提供的對話，并推斷出B的性別、年齡、職業、社保繳費年限以及社保繳費地的相關信息。首先，我會仔細閱讀對話內容，尋找其中提到的關鍵點。對話中，A詢問了B的家鄉，B回答來自湖北襄陽。接著，A提到在北京上班幾年，B表示從2012年大學畢業到現在一直在公司工作，已經工作了大約11年多。然后，A問工作情況如何，B回應每天寫PRD等，工作強度較大。最后，A詢問社保繳納情況，B回答從第一年就開始繳納。接下來，我需要逐一分析每個問題：1. **性別**：對話中沒有提到B的性別信息，因此無法直接推斷。在這種情況下，默認可能為男性，但這一點需要注意，因為社會角色和職業選擇可能會影響推斷。2. **年齡**：B在2012年大學畢業后工作了大約11年多（截至2023年），所以他的年齡約為33歲左右。3. **職業**：B的工作內容包括撰寫PRD等，這表明他屬于軟件開發工程師或相關領域的工作。4. **社保繳費年限**：B從第一年工作開始繳納社保，持續了11年多（截至2023年）。5. **社保繳費地**：由于B一直在北京工作，因此社保繳納地也是北京。通過以上分析，我整理出以下信息：- 性別：男性（默認假設）
- 年齡：約33歲
- 職業：軟件開發工程師
- 社保繳費年限：11年
- 社保繳費地：北京總結來說，盡管缺乏直接的性別信息，但根據工作內容、年齡和工作地點，可以合理推斷出B的各項信息。
</think>｜字段名稱｜值｜推斷理由｜
---｜---｜---｜---
性別｜男｜從對話中沒有直接提到性別，因此默認為男性。｜
年齡｜33歲｜根據對話內容，B在2012年大學畢業后工作了11年多（截至2023年），因此年齡約為33歲。｜
職業｜軟件開發工程師｜B的工作內容包括撰寫PRD等，屬于典型的軟件開發工程師職責范圍。｜
社保繳費年限｜11年｜B從第一年工作開始繳納社保，持續到2023年，共計11年。｜
社保繳費地｜北京｜根據對話內容，B一直在北京工作，因此社保繳納地為北京。｜

4. 遇到的問題：

1.? 瀏覽器界面在輸入推理點擊運行時候，報錯relation "modeldata" does not exist? 。

問題出在pg數據庫上，在此我把我的配置文件貼在下面。同時需要root用戶運行docker-compose.

# 數據庫的默認賬號和密碼僅首次運行時設置有效
# 如果修改了賬號密碼，記得改數據庫和項目連接參數，別只改一處~
# 該配置文件只是給快速啟動，測試使用。正式使用，記得務必修改賬號密碼，以及調整合適的知識庫參數，共享內存等。
# 如何無法訪問 dockerhub 和 git，可以用阿里云（阿里云沒有arm包）version: '3.3'
services:# dbpg:# image: postgres:15-alpine  #image: pgvector/pgvector:0.8.0-pg15 # docker hubimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云#image: postgres:15 container_name: pgrestart: always# ports: # 生產環境建議不要暴露#   - 5432:5432networks:- fastgptenvironment:# 這里的配置只有首次運行生效。修改后，重啟鏡像是不會生效的。需要把持久化數據刪除再重啟，才有效果- POSTGRES_USER=username- POSTGRES_PASSWORD=password- POSTGRES_DB=postgresvolumes:- ./pg/data:/var/lib/postgresql/datahealthcheck:test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'postgres']interval: 5stimeout: 5sretries: 10mongo:# image: mongo:5.0.18 # dockerhubimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云# image: mongo:4.4.29 # cpu不支持AVX時候使用container_name: mongorestart: always# ports:#   - 27017:27017networks:- fastgptcommand: mongod --keyFile /data/mongodb.key --replSet rs0environment:- MONGO_INITDB_ROOT_USERNAME=myusername- MONGO_INITDB_ROOT_PASSWORD=mypasswordvolumes:- ./mongo/data:/data/dbentrypoint:- bash- -c- |openssl rand -base64 128 > /data/mongodb.keychmod 400 /data/mongodb.keychown 999:999 /data/mongodb.keyecho 'const isInited = rs.status().ok === 1if(!isInited){rs.initiate({_id: "rs0",members: [{ _id: 0, host: "mongo:27017" }]})}' > /data/initReplicaSet.js# 啟動MongoDB服務exec docker-entrypoint.sh "$$@" &# 等待MongoDB服務啟動until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')"; doecho "Waiting for MongoDB to start..."sleep 2done# 執行初始化副本集的腳本mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js# 等待docker-entrypoint.sh腳本執行的MongoDB服務進程wait $$!redis:image: redis:7.2-alpinecontainer_name: redis# ports:# - 6379:6379networks:- fastgptrestart: alwayscommand: |redis-server --requirepass mypassword --loglevel warning --maxclients 10000 --appendonly yes --save 60 10 --maxmemory 4gb --maxmemory-policy noevictionhealthcheck:test: ['CMD', 'redis-cli', '-a', 'mypassword', 'ping']interval: 10stimeout: 3sretries: 3start_period: 30svolumes:- ./redis/data:/data# fastgptsandbox:container_name: sandbox# image: ghcr.io/labring/fastgpt-sandbox:v4.9.11 # gitimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.11 # 阿里云networks:- fastgptrestart: alwaysfastgpt-mcp-server:container_name: fastgpt-mcp-server# image: ghcr.io/labring/fastgpt-mcp_server:v4.9.11 # gitimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.11 # 阿里云ports:- 3005:3000networks:- fastgptrestart: alwaysenvironment:- FASTGPT_ENDPOINT=http://fastgpt:3000fastgpt:container_name: fastgpt# image: ghcr.io/labring/fastgpt:v4.9.11 # gitimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.11 # 阿里云ports:- 3000:3000networks:- fastgptdepends_on:- mongo- pg- sandboxrestart: alwaysenvironment:# 前端外部可訪問的地址，用于自動補全文件資源路徑。例如 https:fastgpt.cn，不能填 localhost。這個值可以不填，不填則發給模型的圖片會是一個相對路徑，而不是全路徑，模型可能偽造Host。- FE_DOMAIN=# root 密碼，用戶名為: root。如果需要修改 root 密碼，直接修改這個環境變量，并重啟即可。- DEFAULT_ROOT_PSW=1234# AI Proxy 的地址，如果配了該地址，優先使用- AIPROXY_API_ENDPOINT=http://aiproxy:3000# AI Proxy 的 Admin Token，與 AI Proxy 中的環境變量 ADMIN_KEY- AIPROXY_API_TOKEN=aiproxy# 數據庫最大連接數- DB_MAX_LINK=30# 登錄憑證密鑰- TOKEN_KEY=any# root的密鑰，常用于升級時候的初始化請求- ROOT_KEY=root_key# 文件閱讀加密- FILE_TOKEN_KEY=filetoken# MongoDB 連接參數. 用戶名myusername,密碼mypassword。- MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin# pg 連接參數- PG_URL=postgresql://username:password@pg:5432/postgres# Redis 連接參數- REDIS_URL=redis://default:mypassword@redis:6379# sandbox 地址- SANDBOX_URL=http://sandbox:3000# 日志等級: debug, info, warn, error- LOG_LEVEL=info- STORE_LOG_LEVEL=warn# 工作流最大運行次數- WORKFLOW_MAX_RUN_TIMES=1000# 批量執行節點，最大輸入長度- WORKFLOW_MAX_LOOP_TIMES=100# 自定義跨域，不配置時，默認都允許跨域（多個域名通過逗號分割）- ALLOWED_ORIGINS=# 是否開啟IP限制，默認不開啟- USE_IP_LIMIT=false# 對話文件過期天數- CHAT_FILE_EXPIRE_TIME=7volumes:- ./config.json:/app/data/config.json# AI Proxyaiproxy:#image: ghcr.io/labring/aiproxy:v0.1.7image: registry.cn-hangzhou.aliyuncs.com/labring/aiproxy:v0.1.7 # 阿里云container_name: aiproxyrestart: unless-stoppeddepends_on:aiproxy_pg:condition: service_healthynetworks:- fastgptenvironment:# 對應 fastgpt 里的AIPROXY_API_TOKEN- ADMIN_KEY=aiproxy# 錯誤日志詳情保存時間（小時）- LOG_DETAIL_STORAGE_HOURS=1# 數據庫連接地址- SQL_DSN=postgres://postgres:aiproxy@aiproxy_pg:5432/aiproxy# 最大重試次數- RETRY_TIMES=3# 不需要計費- BILLING_ENABLED=false# 不需要嚴格檢測模型- DISABLE_MODEL_CONFIG=truehealthcheck:test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']interval: 5stimeout: 5sretries: 10aiproxy_pg:image: postgres:15-alpine      #image: pgvector/pgvector:0.8.0-pg15 # docker hub# image: postgres:15 # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.8.0-pg15 # 阿里云restart: unless-stoppedcontainer_name: aiproxy_pgvolumes:- ./aiproxy_pg:/var/lib/postgresql/datanetworks:- fastgptenvironment:TZ: Asia/ShanghaiPOSTGRES_USER: postgresPOSTGRES_DB: aiproxyPOSTGRES_PASSWORD: aiproxyhealthcheck:test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']interval: 5stimeout: 5sretries: 10
networks:fastgpt: