Dify本地安裝部署筆記

方式一【docker安裝】：

步驟 1：準備工作

步驟2: 克隆dify倉庫

步驟3:部署啟動dify

步驟 4：訪問 Dify

步驟5:升級dify

方式二【源碼安裝】：

步驟1. 硬件：最低安裝要求

步驟2: 業務服務前的3個服務

1. 安裝工具：

2. 安裝redis，wget，nginx，nodejs，npm等必備工具?

3. 啟動服務

步驟3: Clone Dify 代碼：

步驟4: 啟動前端，后端，和worker

步驟5:配置代理nginx

踩坑記錄：

踩坑： pyenv

踩坑：poetry工具

poetry install時一直提示Cannot install alibabacloud-tea因為?_cffi_backend找不到

安裝onnxruntime錯誤

Installing grpcio (1.67.1):?Failed??TimeoutError??????????????

踩坑： flask、postgreSQL

1. flask不存在：???????

2. postgreSQL Connection refused：postgresql沒有配置用戶密碼，也沒有啟動服務

解決辦法：

踩坑：root未定義

Dify 是一個讓你輕松構建 AI 應用的開源平臺，簡單來說就是給開發者打造的一站式AI應用開發工具。它主要有以下幾個特點：

簡單直觀：你可以通過圖形界面來創建和調試 AI 應用，幾分鐘就能發布。
上下文集成：可以用你自己的數據來進行文本預處理，無需深入了解技術細節。
API 訪問：提供后臺服務，直接訪問 Web 應用或將 API 集成到你的項目中，不用擔心復雜的后臺架構和部署問題。
數據優化：通過圖形界面查看 AI 的運行日志，改進數據標注，不斷提升 AI 的表現。

Dify 兼容 Langchain，支持多種大語言模型（LLM）。目前支持的模型供應商包括 OpenAI、Azure OpenAI、Anthropic、Replicate、Hugging Face、ChatGLM、Llama2、MiniMax、訊飛星火、文心一言和通義千問等。

換句話說，Dify 就是一個幫你快速、高效地開發和優化 AI 應用的萬能工具箱。

方式一【docker安裝】：

步驟 1：準備工作

確保你已經安裝了 Docker 和 Docker Compose。如果沒有，請先安裝：

Docker：可以從 Docker 官方網站(https://www.docker.com/get-started) 下載并安裝適合你操作系統的版本。
Docker Compose：一般 Docker 會自帶 Docker Compose，如果沒有，你可以按照 Docker Compose 安裝指南(https://docs.docker.com/compose/install/) 進行安裝。

Docker的安裝不需要說了，雙擊安裝文件就行。已經安裝docker的情況下，安裝Docker Compose，可以在終端輸入下面的命令（如果不起作用，你需要安裝一下 Homebrew）：

brew install docker-compose

Dify本地安裝可以用docker方式，和源碼編譯方式。

步驟2: 克隆dify倉庫

安裝dify并啟動：git clone https://github.com/langgenius/dify.git

用“訪達”打開一個桌面建立一個dify文件夾，然后雙擊以后就可以直接使用：

git clone https://github.com/langgenius/dify.git

它的效果等同于：

?cd ~/Desktopmkdir dify ?#?其中，mkdir是“make directory”的縮寫。
?
cd dify
?
git clone https://github.com/langgenius/dify.git

步驟3:部署啟動dify


# 進入 dify 源代碼的 docker 目錄，配置nginx端口，執行一鍵啟動命令
cd dify/docker
export EXPOSE_NGINX_PORT=8080
docker compose up -d

啟動后docker ps 可以看到以下容器

netstat -natp可以看到docker監聽的端口是8080，設置安全組開發8080端口

訪問 http://虛擬機ip:8080 ?根據情況輸郵箱，用戶名，密碼完成本地注冊可以開始使用

等上一會兒你就會發現部署結果：

[+] Running 9/9
? Container docker-web-1 Started 1.0s
? Container docker-redis-1 Started 1.1s
? Container docker-weaviate-1 Started 0.9s
? Container docker-db-1 Started 0.0s
? Container docker-worker-1 Started 0.7s
? Container docker-api-1 Started 0.8s
? Container docker-nginx-1 Started 0.7s
? Container docker-sandbox-1 Started 0.7s
? Container docker-ssrf_proxy-1 Started 0.8

用下面的命令檢查一下是不是正常運行：

docker compose ps

你也可以打開docker的桌面應用，看看里面容器運行情況。

步驟 4：訪問 Dify

在瀏覽器輸入框里輸入：localhost/install，這是為了完成 Dify 的初始配置的。

稍等一會兒，就大功告成了。

步驟5:升級dify

進入 dify 源代碼的 docker 目錄，按順序執行以下命令：cd dify/docker
git pull origin main
docker compose down
docker compose pull
docker compose up -d

如果發現其他問題，建議直接GPT來解決。比如說端口沖突，還有環境變量錯誤之類的。實在不行，把容器什么的都刪除，按照流程重來一遍。
為什么有了Docker客戶端了，還要用Docker Compose，是不是多此一舉？要知道如果你下載其他GitHub項目很多的話，用`docker run`這種命令也可以安裝。這個就必須說Docker，它最大的強項是把軟件所有依賴都打包到了里頭，所以運行一個復雜的小項目會省掉很多本地配置。Docker 可以有效管理單個容器，但當你需要管理一個包含多個容器的復雜應用時，Docker Compose 就顯得尤為重要了。尤其我們初學者，如果你一開始的時候，總是使用`docker run`這種命令，你會在docker里面迷失的，會覺得難受。而Docker Compose就很舒服了。

Docker Compose實際上是圍繞一個docker-compose.yml 文件工作的，舉個例子：

# 沒有Docker Compose的時候，你需要通過終端輸入很多指令，一條一條run：
docker run -d --name db postgres
docker run -d --name web --link db:db my-web-app
# 但是你如果有docker-compose.yml 文件，如果像上面跑的數據庫和后端服務，一般里面是這樣的：
version: '3'
services:db:image: postgresenvironment:POSTGRES_PASSWORD: exampleweb:image: my-web-appdepends_on:- dbports:- "8000:8000"
# 直接輸入下面的指令就好：
docker compose up# 下載完dify客戶端以后，在docker的文件下面執行的就是這個命令：
docker compose up -d
這里的`-d`，指的是`啟動`，它是 detach 的縮寫，表示讓容器在后臺運行。使用`-d`選項運行容器時，命令會立即返回，你的終端不會被容器的輸出占用，這樣你可以繼續在同一個終端會話中執行其他命令。

方式二【源碼安裝】：

步驟1. 硬件：最低安裝要求

安裝 Dify 之前, 請確保你的機器已滿足最低安裝要求：CPU >= 2 Core，RAM >= 4 GiB

源碼安裝主要可以參考文檔：dify官網中文安裝說明

步驟2: 業務服務前的3個服務

官網給的安裝說明中只說了可以用docker啟動這3個服務： PostgreSQL / Redis / Weaviate

cd docker
cp middleware.env.example middleware.env
docker compose -f docker-compose.middleware.yaml up -d

在啟用業務服務之前，我們需要先部署 PostgreSQL / Redis / Weaviate（如果本地沒有的話），那么如果沒有docker，或者不想用docker怎么做呢？

1. 安裝工具：

Linux：用apt-get安裝，

sudo apt-get update

2. 安裝redis，wget，nginx，nodejs，npm等必備工具?

#安裝pg redis
sudo apt install redis-server wget postgresql postgresql-client -ysudo apt install nginx nodejs npm -ysudo wget https://github.com/weaviate/weaviate/releases/download/v1.27.12/weaviate-v1.27.12-linux-amd64.tar.gzsudo tar -zxf weaviate-v1.27.12-linux-amd64.tar.gz#安裝向量數據庫
sudo chmod +x weaviatesudo mv weaviate /opt
設置數據庫密碼：修改/etc/redis/redis.conf，添加：requirepass difyai123456

3. 啟動服務

# 啟動redis：service redis-server start# 啟動pg：service postgresql start?# 修改pg密碼：su - postgrespsqlCREATE DATABASE dify;ALTER USER postgres WITH PASSWORD 'difyai123456';quit;# 啟動weaviate：export PERSISTENCE_DATA_PATH=/var/lib/weaviate
export QUERY_DEFAULTS_LIMIT=25
export AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=false
export DEFAULT_VECTORIZER_MODULE=none
export CLUSTER_HOSTNAME=node1
export AUTHENTICATION_APIKEY_ENABLED=true
export AUTHENTICATION_APIKEY_ALLOWED_KEYS=WVF5YThaHlkYwhGUSmCRgsX3tD5ngdN8pkih
export AUTHENTICATION_APIKEY_USERS=hello@dify.ai
export AUTHORIZATION_ADMINLIST_ENABLED=true
export AUTHORIZATION_ADMINLIST_USERS=hello@dify.aicd /opt
nohup ./weaviate --host 0.0.0.0 --port '8080' --scheme http |tee ./weaviate.log 2>&1 &

MAC：用brew安裝，brew最好設置國內鏡像

brew install postgresql

步驟3: Clone Dify 代碼：

git clone?https://github.com/langgenius/dify.git
再按照文檔進行源碼安裝，文檔中如果執行poetry shell失敗的話以下命令要帶上poetry run，否則會報錯

poetry run flask db upgrade

步驟4: 啟動前端，后端，和worker

啟動前端

#啟動前端
export NEXT_PUBLIC_DEPLOY_ENV=DEVELOPMENT
export NEXT_PUBLIC_EDITION=SELF_HOSTED
export NEXT_PUBLIC_API_PREFIX=/console/api ?#不設置默認訪問http://localhost/console/api
export NEXT_PUBLIC_PUBLIC_API_PREFIX=/api ?#不設置默認訪問http://localhost/api
export NEXT_PUBLIC_SENTRY_DSN=
export NEXT_TELEMETRY_DISABLED=1
export NEXT_PUBLIC_UPLOAD_IMAGE_AS_ICON=false
export NEXT_PUBLIC_TEXT_GENERATION_TIMEOUT_MS=60000
export NEXT_PUBLIC_CSP_WHITELIST=
export NEXT_PUBLIC_TOP_K_MAX_VALUE=10
export NEXT_PUBLIC_INDEXING_MAX_SEGMENTATION_TOKENS_LENGTH=4000
nohup npm run start &

啟動worker?

#啟動worker
#start backend
export CONSOLE_API_URL=
export APP_API_URL=
export WEB_SENTRY_DSN=
export NEXT_TELEMETRY_DISABLED=0
export TEXT_GENERATION_TIMEOUT_MS=60000
export CSP_WHITELIST=
export TOP_K_MAX_VALUE=10
export INDEXING_MAX_SEGMENTATION_TOKENS_LENGTH=4000
cd /app/dify/api
nohup poetry run ?celery -A app.celery worker -P gevent -c 1 -Q dataset,generation,mail,ops_trace --loglevel INFO ./celery.log 2>&1 &

啟動后端?

nohup poetry run flask run --host 0.0.0.0 --port=5001 --debug |tee ./backend.log 2>&1 &

步驟5:配置代理nginx

這樣跑起來只適合本機訪問，如果要從公網訪問還要加一層nginx，我們在前面已安裝nginx，這里我們就配置nginx，讓其可以代理訪問dify

修改/etc/nginx/nginx.conf如下：

user www-data;
worker_processes auto;
pid /run/nginx.pid;
error_log /var/log/nginx/error.log;
include /etc/nginx/modules-enabled/*.conf;events {worker_connections 768;# multi_accept on;
}http {include ? ? ? /etc/nginx/mime.types;default_type ?application/octet-stream;log_format ?main ?'$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log ?/var/log/nginx/access.log ?main;sendfile ? ? ? ?on;#tcp_nopush ? ? on;keepalive_timeout ?65;#gzip ?on;client_max_body_size 15M;include /etc/nginx/conf.d/*.conf;
}

修改文件 /etc/nginx/conf.d/default.conf

server {listen 8080;server_name _;location /console/api {proxy_pass http://127.0.0.1:5001;}location /api {proxy_pass http://127.0.0.1:5001;}location /v1 {proxy_pass http://127.0.0.1:5001;}location /files {proxy_pass http://127.0.0.1:5001;}location / {proxy_pass http://127.0.0.1:3000;}}

AI寫代碼
重啟nginx：systemctl restart nginx

通過命令netstat -natp 確認nginx確實監聽8080端口

訪問 http://虛擬機ip:8080 ?后續頁面訪問同方式一

踩坑記錄：

踩坑： pyenv

Pyenv下載包非常慢，直接用官網的python包安裝python

踩坑：poetry工具

poetry install時一直提示Cannot install alibabacloud-tea因為?_cffi_backend找不到
- 錯誤ERROR:?Invalid requirement: '_cffi_backend': Expected package name at the start of dependency specifier： _cffi_backend。
- 解決辦法：一定要用poetry安裝cffi包才行，poetry add cffi?
安裝onnxruntime錯誤
- 信息： Installing onnxruntime (1.21.0):?Failed
- 解決辦法：版本不對，用pip安裝能成功，pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple/，查到對應的安裝成功的版本是1.19.2，指定版本安裝即可poetry add onnxruntime@1.19.2
Installing grpcio (1.67.1):?Failed??TimeoutError??????????????

錯誤：The read operation timed out，在api目錄下pyproject.toml項目最后添加對應的國內鏡像

[[tool.poetry.source]] 
name = "tuna" 
url = "https://pypi.tuna.tsinghua.edu.cn/simple/

??????并執行poetry lock，重新執行poetry install

踩坑： flask、postgreSQL

1. flask不存在：???????

解決：執行這個命令直接說flask不存在，根據上面步驟繼續執行poetry add flask，然后再次執行

2. postgreSQL Connection refused：postgresql沒有配置用戶密碼，也沒有啟動服務

sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) connection to server at "localhost" (::1), port 5432 failed: Connection refused Is the server running on that host and accepting TCP/IP connections? connection to server at "localhost" (127.0.0.1), port 5432 failed: Connection refused Is the server running on that host and accepting TCP/IP connections?

解決辦法：

psql --version查詢到數據庫已有安裝

psql (PostgreSQL) 14.17 (Homebrew)用brew install安裝過了

initdb /usr/local/var/postgres，初始化數據庫

pg_ctl -D /usr/local/var/postgres -s -o "-s" start

在mac上安裝了postgresql。在安裝過程中，我沒有被問到postgresql的密碼。這很正常，因為brew不需要或創建任何postgres帳戶。PostgreSQL進程在您自己的帳戶下運行。有關信息，請參見brew info postgres的輸出。要創建新的數據庫帳戶，您可以從自己的操作系統帳戶啟動： /usr/local/bin/createdb postgres提示數據庫已存在（使用以下命令進入到數據庫中）在psql中： /usr/local/bin/psql -d postgres 然后作為SQL命令：CREATE USER postgres PASSWORD 'yourpassword'; 這應該可以工作，因為brew通常在initdb時間創建：

一個數據庫超級用戶帳戶，與您的操作系統帳戶具有相同的登錄名（在您的情況下似乎是xx）
名為postgres的數據庫，可用于記錄管理任務（如創建用戶）的信息。

創建好用戶，還沒完成，還需要有這個數據庫dify

/usr/local/bin/psql -d postgres

進入psql，創建數據庫dify

/usr/local/bin/createdb dify

sqlalchemy.exc.ProgrammingError: (psycopg2.errors.InsufficientPrivilege) permission denied to create extension "uuid-ossp" HINT: Must have CREATE privilege on current database to create this extension.

/usr/local/bin/psql -d postgres  -- 進入psql 
???????ALTER USER postgres CREATEDB; -- 創建數據庫權限 
GRANT CONNECT ON DATABASE dify TO postgres; --連接數據權限 
GRANT CREATE ON DATABASE dify TO postgres; -- 數據庫的創建權限 
CREATE ROLE admin WITH CREATEDB CREATEROLE; -- 角色和庫創建權限 
GRANT admin TO postgres; --授予admin權限給postgres 
\q

再次執行poetry run flask db upgrade終于成功了

踩坑：root未定義

poetry run flask run --host 0.0.0.0 --port=5001 --debug

File "/Users/xx/Desktop/xx/dify/api/extensions/ext_storage.py", line 31, in <lambda>return lambda: OpenDALStorage(dify_config.OPENDAL_SCHEME)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "/Users/xx/Desktop/xx/dify/api/extensions/storage/opendal_storage.py", line 37, in __init__self.op = opendal.Operator(scheme=scheme, **kwargs)  # type: ignore^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
opendal.exceptions.ConfigInvalid: ConfigInvalid (permanent) at  => root is not specified

找到文件：api/extensions/storage/opendal_storage.py

注釋修改代碼行：


# self.op = opendal.Operator(scheme=scheme, **kwargs) type: ignore 
self.op = opendal.Operator(scheme=scheme, 
root='/Users/xx/Desktop/xx/dify/api/storage')