華為云 Flexus+DeepSeek 征文|華為云單機部署 Dify-LLM 開發平臺全流程指南【服務部署、模型配置、知識庫構建全流程】
文章目錄
- 華為云 Flexus+DeepSeek 征文|華為云單機部署 Dify-LLM 開發平臺全流程指南【服務部署、模型配置、知識庫構建全流程】
- 前言
- 1、ModelArts Studio大模型開通
- 2、Dify平臺單機部署
- 3、Dify平臺模型供應商配置
- 3、Dify平臺模型供應商配置
- 4、高質量知識庫配置Embedding及Rerank模型
- 4.1 部署Embedding及Rerank模型
- 4.2 高質量知識庫模型供應商配置
- 4.2.1 ECS公網IP獲取
- 4.2.2 Ollama模型安裝
- 4.2.3 Xorbits Inference模型安裝
- 資源刪除銷毀
- 華為云單機部署Dify平臺
- 總結
前言
本文通過華為云結合 Flexus 云服務器與 DeepSeek 大模型,為開發者提供了高效便捷的 Dify-LLM 開發平臺單機部署方案,將從 ModelArts Studio 服務開通、Dify 平臺自動化部署、DeepSeek 模型接入到高質量知識庫的 Embedding 及 Rerank 模型配置,全流程詳解如何快速構建可落地的 LLM 應用開發環境,助力個人開發者與團隊低成本完成原型驗證與場景化功能探索
1、ModelArts Studio大模型開通
1、領取開通在線推理提供服務,點擊ModelArts Studio控制臺
2、點擊模型推理-在線推理
3、開通商用服務或者免費服務都可以,如果是體驗使用可以暫時使用免費服務,等到有更高的需求可以使用商用服務,另外說明商用服務是按Token計費
- 免費服務開通:僅適合用于體驗模型,且受嚴格的速率限制。平臺可能會不定時調整其適用模型、免費額度、有效期等內容
- 商用服務:將為您提供商用級別的推理API服務,開放后您可以獲取付費API服務
2、Dify平臺單機部署
1、部署Dify-LLM應用開發平臺
部署方案 云服務器單機部署 CCE 容器高可用部署 適用場景 規模較小、對復雜性要求低的場景,滿足基本公網訪問和安全防護需求 對應用可靠性、擴展性和性能有較高要求的大型場景 核心資源 1 臺華為云 Flexus 云服務器 X 實例、1 個彈性公網 IP、1 個安全組 多個彈性公網 IP、彈性負載均衡 ELB、NAT 網關、多臺 FlexusX 實例、云容器引擎 CCE Turbo 集群、對象存儲服務 OBS、分布式緩存服務 Redis、云數據庫 RDS for PostgreSQL 實例、云搜索服務 CSS OpenSearch 集群、4 個安全組 架構特點 簡單直接,單機部署 高可用、可擴展,通過多組件協同構建功能全面的架構 關鍵能力 基礎公網訪問、基礎安全防護 負載均衡、高可用保障、分布式存儲與緩存、數據庫服務、搜索服務、多實例協同擴展 復雜性 低 高 資源規模 單一實例 + 基礎網絡資源 多類型、多實例、多服務組合的資源集群 可靠性保障 依賴單實例穩定性 通過集群架構、負載均衡和多實例部署實現高可用性,降低單點故障風險 擴展性 擴展性有限,需通過單機升級實現資源擴容 支持按需橫向擴展實例數量,通過容器集群靈活調整資源規模,滿足業務增長需求
2、選擇模板:使用一鍵部署云服務器單機部署,如下頁面默認配置,直接下一步
3、參數配置:按模板要求對部分資源加密的勾選取消(默認是勾選,如果不取消下一步的時候可能會報錯),配置dify_version默認是最新版本更改到0.15.2版本,配置ecs_password(云服務器密碼,長度為8-26位,密碼至少包含大寫字母、小寫字母、數字和特殊字符(!@$%^-_=+[{}]:,./?)中的三種。管理員賬戶默認root)
4、資源棧設置:開啟回滾設置(開啟回滾表示操作失敗時,會自動回滾至系統所保存的上一個成功的資源狀態。創建后可在資源棧詳情頁面修改),刪除保護可以根據需求開啟(防止資源棧被意外刪除。創建后可在資源棧詳情頁面修改)
5、配置確認,直接點擊創建執行計劃
6、部署-執行
7、點擊事件觀察部署情況,看是否有報錯,如果沒有等到部署完成即可(預計10分鐘左右,這個過程中代表華為云正在創建 1 臺華為云 Flexus 云服務器 X 實例,搭配 1 個彈性公網 IP 和 1 個安全組,創建完成后就可以通過瀏覽器鏈接直接訪問Dify - LLM 應用開發平臺)
8、基本信息頁面查看,是否部署成功,顯示部署成功即可點擊輸出,復制瀏覽器訪問鏈接來訪問Dify - LLM 應用開發平臺
9、通過瀏覽器訪問鏈接來訪問Dify - LLM 應用開發平臺,設置管理員賬戶Dify - LLM 應用開發平臺
10、通過設置的管理員賬戶信息來登錄
11、登錄后顯示如下頁面,代表Dify - LLM 應用開發平臺已經部署成功
3、Dify平臺模型供應商配置
1、Dify - LLM 應用開發平臺模型供應商配置(接入DeepSeek)
2、模型供應商中找到OpenAI-API-compatible并且安裝
3、安裝成功如下所示
4、DeepSeek模型供應商配置(OpenAI-API-compatible供應商)
5、配置頁面
6、API Key獲取:ModelArts Studio控制臺,點擊API KEY管理,創建自己的API KEY,標簽和描述根據自己的填即可,獲取到自己的API KEY注意保存(只會顯示一次自己的API KEY)
7、自定義 API endpoint 地址獲取:ModelArts Studio控制臺,點擊在線推理,選擇自己的服務,商用服務或者免費服務的用法相同,點擊調用說明獲取自定義API endpoint 地址
8、點擊OpenAI SDK復制API接口信息,這個就是自己的API endpoint 地址
9、Dify - LLM 應用開發平臺填寫獲取到的API KEY和自定義 API endpoint 地址和模型名稱
10、點擊保存,頁面會顯示修改成功,配置成功頁面如下
3、Dify平臺模型供應商配置
1、Dify - LLM 應用開發平臺模型供應商配置(接入DeepSeek)
2、模型供應商中找到OpenAI-API-compatible并且安裝
3、安裝成功如下所示
4、DeepSeek模型供應商配置(OpenAI-API-compatible供應商)
5、配置頁面
6、API Key獲取:ModelArts Studio控制臺,點擊API KEY管理,創建自己的API KEY,標簽和描述根據自己的填即可,獲取到自己的API KEY注意保存(只會顯示一次自己的API KEY)
7、自定義 API endpoint 地址獲取:ModelArts Studio控制臺,點擊在線推理,選擇自己的服務,商用服務或者免費服務的用法相同,點擊調用說明獲取自定義API endpoint 地址
8、點擊OpenAI SDK復制API接口信息,這個就是自己的API endpoint 地址
9、Dify - LLM 應用開發平臺填寫獲取到的API KEY和自定義 API endpoint 地址和模型名稱
10、點擊保存,頁面會顯示修改成功,配置成功頁面如下
4、高質量知識庫配置Embedding及Rerank模型
4.1 部署Embedding及Rerank模型
1、登錄華為云解決方案實踐,選擇快速部署Embedding及Rerank模型
2、點擊進入-下滑至方案架構
3、區域選擇
成本預算:3~6元(按需計費:Flexus云服務器X實例2.28元/小時,彈性公網IP EIP0.80元/GB,體驗本方案預計成本不超過6元)
4、選擇模板
- 默認配置下一步
5、參數配置
- 按模板要求對部分資源加密取消勾選
- ecs_password:云服務器密碼,長度為8-26位,密碼至少必須包含大寫字母、小寫字母、數字和特殊字符(!@$%^-_=+[{}]:,./?)中的三種、
6、資源棧設置
開啟回滾設置:開啟回滾表示操作失敗時,會自動回滾至系統所保存的上一個成功的資源狀態。創建后可在資源棧詳情頁面修改。
7、配置確認
8、創建執行計劃
9、部署
10、執行計劃
11、基本信息中等待狀態改變為部署完成即可完成部署
4.2 高質量知識庫模型供應商配置
4.2.1 ECS公網IP獲取
1、ECS公網IP獲取
4.2.2 Ollama模型安裝
1、安裝bge-m3(embedding)和bge-reranker-v2-m3 (reranker)模型供應商
- Ollama安裝
2、Ollama模型供應商配置
- 模型類型:Text Embedding
- 模型名稱:bge-m3
- 基礎URL:http://ECS公網IP:11434(如上前提有獲取流程)
- 端口號:11434
3、Xorbits Inference模型安裝
4.2.3 Xorbits Inference模型安裝
4、Xorbits Inference模型配置
模型類型: Rerank
模型名稱與模型UID均填寫:bge-reranker-v2-m3
服務器URL:http://ECS公網IP:9997
端口號:9997
5、模型成功配置
如上即完成了華為云單機部署以及高質量知識庫配置Embedding及Rerank模型的創建和配置,后續即可直接在華為云Dify平臺中,直接創建高質量知識庫,經濟知識庫默認配置,不需要特殊創建過程。
資源刪除銷毀
Tip:
- 刪除資源棧的流程官方文檔比較詳細可以參考官方文檔
- 資源刪除銷毀單機部署和CCE集群高可用部署的方式相同
1、進入資源編排服務控制臺,找到剛創建成功的資源棧,單擊行操作列的刪除,頁面彈出確認刪除框,在輸入框中再次輸入Delete,單擊確定,即可刪除
2、如果啟用刪除保護的情況下刪除資源堆棧,則會顯示錯誤消息
3、只需要將刪除保護關閉再刪除即可(此處我并未開啟所以不做演示)
華為云單機部署Dify平臺
華為云單機部署 Dify 平臺,15 分鐘即可自動化完成相關依賴配置,便捷高效。借助 Flexus X 實例,具備高性能架構與場景化加速能力,成本上有柔性算力革新,還提供旗艦級可靠性保障 ,適合個人開發者或團隊快速體驗 Dify 基礎功能,進行小規模試驗與原型驗證
?部署便捷:利用華為云一鍵部署功能,15 分鐘可自動化完成 VPC、OBS 等依賴配置,較手動部署效率提升 90%。無需復雜的多實例或高可用架構配置,適合個人開發者或團隊快速體驗基本功能,10 分鐘內即可啟動,便于模型調試、小規模應用驗證
?性能卓越:以華為云 Flexus X 實例為算力底座,基于擎天架構,單核性能較傳統 x86 實例優化 60%,整體算力達業界 1.6 倍。借助 X - Turbo 引擎,PostgreSQL 查詢 TPS 達 1200,是傳統實例 6 倍,Redis 延遲 < 10ms,向量檢索速度提升至 5000 條 / 秒,模型推理吞吐量增加 35%,支持單實例 15 路并發查詢
?安全可靠:依托華為云跨可用區(AZ)容災機制,45 秒內可完成故障遷移,可用性達 99.995%。通過 OBS AES - 256 加密、SSL/TLS 鏈路保護滿足等保 2.0 合規,以剛性 SLA 承諾,未達標最高獲 300% 資源券賠償
總結
本指南完整覆蓋華為云單機部署 Dify-LLM 開發平臺的全流程,通過 Flexus 云服務器 X 實例的一鍵自動化部署,15 分鐘即可完成從環境搭建到模型配置的全鏈路操作,單核性能較傳統架構提升 60% 的同時,成本低至 0.95 元 / 小時。結合 DeepSeek 模型接入與 bge 系列 Embedding、Rerank 模型的高效配置,不僅實現向量檢索速度 5000 條 / 秒、PostgreSQL 查詢 TPS 達 1200 的高性能表現,更通過跨可用區容災、AES-256 加密等機制保障系統可靠性。該方案尤其適合中小團隊快速驗證 LLM 應用原型,且支持平滑擴展至 CCE 集群,為規模化部署奠定基礎。