dify是什么？如何用一臺服務器用dify私有部署通用的大模型應用？
Dify?是一款開源的大語言模型(LLM) 應用開發平臺。它融合了后端即服務（Backend as Service）和LLMOps的理念，使開發者可以快速搭建生產級的生成式 AI 應用。即使你是非技術人員，也能參與到 AI 應用的定義和數據運營過程中。
由于 Dify 內置了構建 LLM 應用所需的關鍵技術棧，包括對數百個模型的支持、直觀的 Prompt 編排界面、高質量的 RAG 引擎、穩健的 Agent 框架、靈活的流程編排，并同時提供了一套易用的界面和 API。這為開發者節省了許多重復造輪子的時間，使其可以專注在創新和業務需求上。
為什么使用 Dify？
你或許可以把 LangChain 這類的開發庫（Library）想象為有著錘子、釘子的工具箱。與之相比，Dify 提供了更接近生產需要的完整方案，Dify 好比是一套腳手架，并且經過了精良的工程設計和軟件測試。
重要的是，Dify 是開源的，它由一個專業的全職團隊和社區共同打造。你可以基于任何模型自部署類似 Assistants API 和 GPTs 的能力，在靈活和安全的基礎上，同時保持對數據的完全控制。
我們的社區用戶對 Dify 的產品評價可以歸結為簡單、克制、迭代迅速。 ——路宇，Dify.AI CEO
希望以上信息和這份指南可以幫助你了解這款產品，我們相信 Dify 是為你而做的（Do It For You）。
Dify 能做什么？
Dify 一詞源自 Define + Modify，意指定義并且持續的改進你的 AI 應用，它是為你而做的（Do it for you）。
- 創業，快速的將你的 AI 應用創意變成現實，無論成功和失敗都需要加速。在真實世界，已經有幾十個團隊通過 Dify 構建 MVP（最小可用產品）獲得投資，或通過 POC（概念驗證）贏得了客戶的訂單。
- 將 LLM 集成至已有業務，通過引入 LLM 增強現有應用的能力，接入 Dify 的 RESTful API 從而實現 Prompt 與業務代碼的解耦，在 Dify 的管理界面是跟蹤數據、成本和用量，持續改進應用效果。
- 作為企業級 LLM 基礎設施，一些銀行和大型互聯網公司正在將 Dify 部署為企業內的 LLM 網關，加速 GenAI 技術在企業內的推廣，并實現中心化的監管。
- 探索 LLM 的能力邊界，即使你是一個技術愛好者，通過 Dify 也可以輕松的實踐 Prompt 工程和 Agent 技術，在 GPTs 推出以前就已經有超過 60,000 開發者在 Dify 上創建了自己的第一個應用。
如何用一臺服務器用dify私有部署通用的大模型應用（RAG+多模態知識小助手/工作流/Agent）？
規劃：
A800 8卡服務器 ：2卡用于部署deepseek蒸餾大語言模型，1卡embedding模型，1卡reranker模型， 4卡部署多模態模型。
技術方法：
本地用vllm在線服務或者tensorrt-llm，指定卡起server端的服務，dify是client端，集成這些服務的應用。像這個場景部署4個模型就需要起4個端口服務。
步驟：
在server端：
找文檔openai compatible api 來寫server端的router 網址request和response相關內容 API Reference - OpenAI API左邊Platform APIs找對應的API。
如果用tensorrt-llm或者vllm這些框架，應該一鍵可以部署開放端口接收請求，如果是尚未支持的模型或者不用框架，也可以自行用flask/fastapi等等重新寫server，自己寫服務。
在client端：
1. dify上面選擇openai compatible api
2. 知識庫搭建：
3.圖片處理工作流搭建：
4.包攬大模型/知識庫/多模態應用的Agents
要考慮的點和待解決：
實際應用場景里 圖片處理的批處理程度，圖片的大小；
內部可處理的并發需求量來選擇后端服務測的復雜程度，負載均衡等問題【暫時是我的知識盲區】
流行的趨勢：
壓榨GPU卡單卡的使用量，即發揮一張卡的極致性能
分析是需要在硬件和軟件分別實行隔離技術：物理隔離和軟件隔離
