FastGPT私有化部署完整指南

🚀 FastGPT 私有化部署完整指南

📋 環境要求

硬件要求
最低配置:CPU: 4核內存: 8GB存儲: 50GB網絡: 穩定互聯網連接推薦配置:CPU: 8核+內存: 16GB+存儲: 100GB+ SSD網絡: 10Mbps+帶寬
軟件環境
必需軟件:- Docker: >= 20.10.0- Docker Compose: >= 2.0.0- Git: 最新版本操作系統:- Ubuntu 20.04+ (推薦)- CentOS 7+- Windows Server (支持Docker)- macOS (開發測試)

🐳 Docker Compose 部署(推薦)

1. 獲取源碼

# 克隆倉庫
git clone https://github.com/labring/FastGPT.git
cd FastGPT# 切換到穩定版本
git checkout v4.9.14

2. 配置環境

# 進入部署目錄
cd projects/app/docker# 復制配置文件
cp .env.template .env
cp config.json.template config.json

3. 修改配置文件

編輯 .env 文件
# 數據庫配置
MONGO_PASSWORD=your_mongo_password
PG_PASSWORD=your_postgres_password# 服務端口
PORT=3000# 域名配置(可選)
DEFAULT_ROOT_PSW=your_admin_password
編輯 config.json 文件
{"SystemParams": {"gitBranch": "v4.9.14","chatApiKey": "","vectorMaxProcess": 15,"qaMaxProcess": 15,"pgHNSWEfSearch": 100},"llmModels": [{"model": "gpt-3.5-turbo","name": "GPT-3.5-turbo","apiKey": "YOUR_OPENAI_API_KEY","baseUrl": "https://api.openai.com/v1","maxTokens": 4000,"maxTemperature": 1.2}],"vectorModels": [{"model": "text-embedding-ada-002","name": "OpenAI-Ada","apiKey": "YOUR_OPENAI_API_KEY", "baseUrl": "https://api.openai.com/v1","dbConfig": {}}]
}

4. 啟動服務

# 啟動所有服務
docker-compose up -d# 查看服務狀態
docker-compose ps# 查看日志
docker-compose logs -f fastgpt

?? 詳細配置說明

大模型配置

OpenAI 配置
{"model": "gpt-4","name": "GPT-4","apiKey": "sk-xxxxxxxx","baseUrl": "https://api.openai.com/v1","maxTokens": 8000,"maxTemperature": 1.2,"vision": true
}
國產大模型配置
// 阿里通義千問
{"model": "qwen-max", "name": "通義千問Max","apiKey": "sk-xxxxxxxx","baseUrl": "https://dashscope.aliyuncs.com/compatible-mode/v1","maxTokens": 6000
}// 深度求索
{"model": "deepseek-chat","name": "DeepSeek Chat", "apiKey": "sk-xxxxxxxx","baseUrl": "https://api.deepseek.com/v1","maxTokens": 4000
}

向量模型配置

// 本地BGE模型
{"model": "bge-large-zh-v1.5","name": "BGE-Large-ZH","baseUrl": "http://localhost:6006/v1", "dbConfig": {"dimensions": 1024}
}// OpenAI Embedding
{"model": "text-embedding-3-large","name": "OpenAI-Embedding-3-Large","apiKey": "sk-xxxxxxxx","baseUrl": "https://api.openai.com/v1","dbConfig": {"dimensions": 3072}
}

🛠? 本地模型部署

1. Ollama 本地部署

# 安裝 Ollama
curl -fsSL https://ollama.com/install.sh | sh# 拉取模型
ollama pull qwen2.5:7b
ollama pull bge-m3:latest# 啟動服務
ollama serve
FastGPT 配置 Ollama
{"llmModels": [{"model": "qwen2.5:7b","name": "通義千問2.5-7B","baseUrl": "http://host.docker.internal:11434/v1","apiKey": "ollama","maxTokens": 4000}],"vectorModels": [{"model": "bge-m3:latest", "name": "BGE-M3","baseUrl": "http://host.docker.internal:11434/v1","apiKey": "ollama"}]
}

2. Xinference 部署

# 安裝 Xinference
pip install xinference# 啟動服務
xinference-local --host 0.0.0.0 --port 9997# 通過 Web UI 管理模型
# http://localhost:9997

🌐 反向代理配置

Nginx 配置

server {listen 80;server_name your-domain.com;# 重定向到 HTTPSreturn 301 https://$server_name$request_uri;
}server {listen 443 ssl;server_name your-domain.com;# SSL 證書配置ssl_certificate /path/to/cert.pem;ssl_certificate_key /path/to/key.pem;location / {proxy_pass http://localhost:3000;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;# WebSocket 支持proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection "upgrade";}
}

📊 數據庫管理

MongoDB 管理

# 連接 MongoDB
docker exec -it fastgpt-mongo mongo -u myusername -p mypassword# 備份數據庫
docker exec fastgpt-mongo mongodump -u myusername -p mypassword -d fastgpt -o /backup# 恢復數據庫
docker exec fastgpt-mongo mongorestore -u myusername -p mypassword -d fastgpt /backup/fastgpt

PostgreSQL 管理

# 連接 PostgreSQL
docker exec -it fastgpt-pg psql -U username -d postgres# 備份數據庫
docker exec fastgpt-pg pg_dump -U username fastgpt > backup.sql# 恢復數據庫
docker exec -i fastgpt-pg psql -U username fastgpt < backup.sql

🔧 常見問題解決

1. 服務啟動失敗

# 檢查端口占用
netstat -tulpn | grep :3000# 檢查磁盤空間
df -h# 重啟服務
docker-compose restart

2. 內存不足

# 在 docker-compose.yml 中限制內存
services:fastgpt:deploy:resources:limits:memory: 4Greservations:memory: 2G

3. API 連接問題

# 測試 API 連通性
curl -X POST https://api.openai.com/v1/chat/completions \-H "Authorization: Bearer YOUR_API_KEY" \-H "Content-Type: application/json" \-d '{"model":"gpt-3.5-turbo","messages":[{"role":"user","content":"Hello"}]}'

🚀 生產環境優化

性能優化配置

# docker-compose.yml 優化
version: '3.8'
services:fastgpt:restart: alwayslogging:driver: "json-file"options:max-size: "100m"max-file: "3"deploy:resources:limits:cpus: '4.0'memory: 8Greservations:cpus: '2.0'memory: 4G

監控配置

# 添加健康檢查
healthcheck:test: ["CMD", "curl", "-f", "http://localhost:3000/api/system/getInitData"]interval: 30stimeout: 10sretries: 3

📋 部署檢查清單

部署前檢查 ?

□ 服務器資源充足
□ Docker 環境正常
□ 網絡連接穩定
□ 域名解析配置
□ SSL 證書準備
□ API Key 有效

部署后驗證 ?

□ 服務正常啟動
□ Web 界面可訪問
□ 數據庫連接正常
□ 大模型調用成功
□ 文件上傳功能正常
□ 對話功能測試通過

🎯 總結

FastGPT 私有化部署相對簡單,關鍵要點:

  1. 環境準備:確保 Docker 環境和硬件資源充足
  2. 配置管理:正確配置大模型和向量模型 API
  3. 安全考慮:使用 HTTPS、強密碼、防火墻配置
  4. 監控維護:定期備份、日志監控、性能優化

部署成功后,你將擁有一個完全私有的 AI 知識庫平臺!🎉

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/89248.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/89248.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/89248.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

系統架構設計師論文分享-基于架構的軟件設計方法及應用

我的軟考歷程 摘要 2023年2月&#xff0c;我所在的公司做了開發紗線MES系統的決定&#xff0c;該系統為國內紗線工廠提供SAAS服務&#xff0c;旨在提高紗線工廠的智能化和數字化水平。我在該項目中被任命為系統架構設計師&#xff0c;全面掌管該項目的架構設計工作。本文將結…

團結引擎發布純鴻蒙應用

大家好&#xff0c;我是阿趙。 ??這里嘗試一下用團結引擎發布純鴻蒙系統的應用。 一、 安裝鴻蒙系統發布需要的組件 在團結引擎的Hub里面找到Add modules: 然后找到OpenHarmony的支持選項&#xff0c;由于我已經安裝過了&#xff0c;所以會顯示Installed&#xff0c;如果沒…

C++基礎(FreeRDP編譯)

安裝 先安裝openssl 保姆級OpenSSL下載及安裝教程,OpenSSL下載及安裝教程-CSDN博客 vcpkg integrate install 安裝 vcpkg install zlib vcpkg install ffmpeg:x64-windows 編譯指令 PS D:\freerdp\FreeRDP\build> cmake .. -G "Visual Studio 17 2022" -A x…

用celery作為信息中間件

要在 Django 的 settings.py 中設置 Redis 作為 Celery 的 broker 和(可選)backend,你需要添加如下配置: 安裝依賴(如未安裝): pip install celery redis在 settings.py 中添加 Celery 配置(推薦放在文件底部): # Celery 配置 CELERY_BROKER_URL = redis://127.0.0.1…

Postman介紹及使用

Postman 是一個強大的 API 開發、測試和文檔化工具&#xff0c;廣泛用于開發者、測試人員和 API 設計者。以下是 Postman 的核心使用指南&#xff0c;涵蓋基礎操作到進階功能&#xff1a; 一、基礎使用 安裝與界面 下載&#xff1a;官網下載&#xff08;支持 Windows/macOS/Lin…

Android14音頻子系統-ASoC-ALSA之DAPM電源管理子系統

文章目錄 概述1&#xff09;codec對象-WM89602&#xff09;ALSA下的kcontrol的構造與使用3&#xff09;ASOC-ALSA下的kcontrol構造與使用1、通用寄存器對象 - kcontrol2、DAPM下的寄存器對象-widget3、如何構造widget&#xff1f;4、抽象對象widget、route與path1&#xff09;r…

如何修改anaconda 創建新虛擬環境的路徑(默認是C:\.conda\envs)

參考文章&#xff1a; 如何修改anaconda 創建新虛擬環境的路徑(默認是C&#xff1a;\.conda\envs)_anaconda創建環境怎么改路徑-CSDN博客

前綴和計算

前綴和 輸入一個長度為n的整數序列。接下來再輸入m個詢問&#xff0c;每個詢問輸入一對l, r。對于每個詢問&#xff0c;輸出原序列中從第l個數到第r個數的和。 所用方法和基本原理 前綴和數組的構建&#xff1a; 首先定義了一個方法getPrefixSum來構建前綴和數組。前綴和數組…

BP神經網絡支持向量機實現風機故障診斷

BP神經網絡&#xff0c;支持向量機等用于風機故障診斷 BP神經網絡&#xff0c;支持向量機等用于風機故障診斷/成功算法/bp20111202_FDD.m , 1580 BP神經網絡&#xff0c;支持向量機等用于風機故障診斷/成功算法/BP_FDD.m , 6044 BP神經網絡&#xff0c;支持向量機等用于風機故…

c++ std::initializer_list

測試代碼&#xff1a; int sum(std::initializer_list<int> params) { // 傳遞若干同類型參數int total 0;for (auto num : params) {total num;}return total; }void testInitializer_list() {// 自定義類支持列表初始化class Demo {public:Demo(std::initializer_li…

Python 數據分析與機器學習入門 (五):Matplotlib 數據可視化基礎

引言&#xff1a;為何可視化至關重要&#xff1f; 俗話說&#xff0c;“一圖勝千言”。在數據分析領域&#xff0c;這句話尤其正確。原始的數據表格和統計摘要雖然精確&#xff0c;但往往難以揭示數據中隱藏的模式、趨勢、異常值和關系。數據可視化通過將數據轉換成圖形&#…

AI基礎1--線性代數(TODO)

1 前言 關于矩陣的運算&#xff0c;其實之前寫過一篇&#xff1a;算法矩陣提速原理_矩陣分塊計算速度會更快嘛-CSDN博客 還是那句話&#xff0c;計算機懂個毛的高等數學。只是矩陣運算的并行性和結構化特點與 SIMD/GPU 的執行模型非常一致。在實際硬件實現中&#xff0c;許多矩…

如何讓宿主機完全看不到Wi-Fi?虛擬機獨立聯網隱匿上網實戰!

“如何讓宿主機完全看不到Wi-Fi&#xff1f;虛擬機獨立聯網隱匿上網實戰&#xff01;” 一、前言 在某些特定環境&#xff08;如企業辦公或信息安全測試&#xff09;中&#xff0c;我們可能有這樣的需求&#xff1a; 讓宿主機無法識別或使用某個USB網絡設備&#xff0c;但虛擬…

Excel基礎操作知識筆記

? 學習視頻鏈接&#xff1a; ??????【公開課】Excel基礎大全&#xff08;1-66集&#xff09;【超高清版】_嗶哩嗶哩_bilibili 深圳則秀教育官方賬號的個人空間-深圳則秀教育官方賬號個人主頁-嗶哩嗶哩視頻 Excel技巧零基礎入門公開課小白&#xff08;Excel表格制作|Exc…

【2025/06/30】GitHub 今日熱門項目

GitHub 今日熱門項目 &#x1f680; 每日精選優質開源項目 | 發現優質開源項目&#xff0c;跟上技術發展趨勢 &#x1f4cb; 報告概覽 &#x1f4ca; 統計項&#x1f4c8; 數值&#x1f4dd; 說明&#x1f4c5; 報告日期2025-06-30 (周一)GitHub Trending 每日快照&#x1f55…

Oracle 進階語法實戰:從多維分析到數據清洗的深度應用?(第四課)

在《Oracle 樹形統計再進階》(第三課)基礎上&#xff0c;我們跳出傳統 SQL 聚合框架&#xff0c;探索Oracle 特有的高級語法特性&#xff0c;包括多維分析神器MODEL子句、數據清洗利器正則表達式、PL/SQL 存儲過程優化&#xff0c;以及基于執行計劃的查詢調優技巧。這些技術能解…

SpringBoot -- 自動配置原理

SpringBoot 自動配置原理 基礎知識 Bean掃描 我們在學習 Spring 的時候&#xff0c;如果要把標注一下注解的類掃描進 IOC 容器 Controller&#xff0c;Service&#xff0c;Mapper&#xff0c;是需要通過一下兩種方式實現的&#xff0c;但是我們在 SpringBoot 工程中并沒有編寫…

Kubernetes從入門到精通-服務發現Service

一、為什么需要 Service&#xff1f; Pod 的動態性&#xff1a; Pod 是 Kubernetes 調度的基本單位。它們可能因為故障、滾動更新、擴縮容等原因隨時被創建或銷毀。 Pod IP 的不穩定性&#xff1a; 每個 Pod 都有自己的 IP 地址&#xff0c;但當 Pod 重建時&#xff0c;IP 地址…

Milvus 資源調度系統的核心部分:「查詢節點」「資源組」「數據庫」

Milvus 的資源管理分為三層&#xff1a;查詢節點、資源組和 數據庫。 查詢節點&#xff1a;處理查詢任務的組件。它在物理機或容器&#xff08;如 Kubernetes 中的 pod&#xff09;上運行。 資源組&#xff1a;查詢節點的集合&#xff0c;充當邏輯組件&#xff08;數據庫和 C…

我的第一個開源項目:用Python搭建輕量級靜態網頁服務器—— 零基礎也能實現的Web開發初體驗

一、為什么選擇靜態服務器&#xff1f; 極簡高效&#xff1a;無需數據庫或復雜后端邏輯&#xff0c;適合展示簡歷、作品集等靜態內容 學習曲線平緩&#xff1a;是理解HTTP協議和Web服務原理的最佳入門方式 資源消耗低&#xff1a;單文件Python腳本即可運行&#xff0c;內存占…