華為云 Flexus+DeepSeek 征文|華為云單機部署 Dify-LLM 開發平臺全流程指南【服務部署、模型配置、知識庫構建全流程】

華為云 Flexus+DeepSeek 征文|華為云單機部署 Dify-LLM 開發平臺全流程指南【服務部署、模型配置、知識庫構建全流程】

文章目錄

    • 華為云 Flexus+DeepSeek 征文|華為云單機部署 Dify-LLM 開發平臺全流程指南【服務部署、模型配置、知識庫構建全流程】
      • 前言
        • 1、ModelArts Studio大模型開通
        • 2、Dify平臺單機部署
        • 3、Dify平臺模型供應商配置
        • 3、Dify平臺模型供應商配置
        • 4、高質量知識庫配置Embedding及Rerank模型
          • 4.1 部署Embedding及Rerank模型
          • 4.2 高質量知識庫模型供應商配置
            • 4.2.1 ECS公網IP獲取
            • 4.2.2 Ollama模型安裝
            • 4.2.3 Xorbits Inference模型安裝
      • 資源刪除銷毀
      • 華為云單機部署Dify平臺
      • 總結

前言

本文通過華為云結合 Flexus 云服務器與 DeepSeek 大模型,為開發者提供了高效便捷的 Dify-LLM 開發平臺單機部署方案,將從 ModelArts Studio 服務開通、Dify 平臺自動化部署、DeepSeek 模型接入到高質量知識庫的 Embedding 及 Rerank 模型配置,全流程詳解如何快速構建可落地的 LLM 應用開發環境,助力個人開發者與團隊低成本完成原型驗證與場景化功能探索

1、ModelArts Studio大模型開通

1、領取開通在線推理提供服務,點擊ModelArts Studio控制臺

在這里插入圖片描述

2、點擊模型推理-在線推理

在這里插入圖片描述

3、開通商用服務或者免費服務都可以,如果是體驗使用可以暫時使用免費服務,等到有更高的需求可以使用商用服務,另外說明商用服務是按Token計費

  • 免費服務開通:僅適合用于體驗模型,且受嚴格的速率限制。平臺可能會不定時調整其適用模型、免費額度、有效期等內容

在這里插入圖片描述

  • 商用服務:將為您提供商用級別的推理API服務,開放后您可以獲取付費API服務

在這里插入圖片描述

2、Dify平臺單機部署

1、部署Dify-LLM應用開發平臺

部署方案云服務器單機部署CCE 容器高可用部署
適用場景規模較小、對復雜性要求低的場景,滿足基本公網訪問和安全防護需求對應用可靠性、擴展性和性能有較高要求的大型場景
核心資源1 臺華為云 Flexus 云服務器 X 實例、1 個彈性公網 IP、1 個安全組多個彈性公網 IP、彈性負載均衡 ELB、NAT 網關、多臺 FlexusX 實例、云容器引擎 CCE Turbo 集群、對象存儲服務 OBS、分布式緩存服務 Redis、云數據庫 RDS for PostgreSQL 實例、云搜索服務 CSS OpenSearch 集群、4 個安全組
架構特點簡單直接,單機部署高可用、可擴展,通過多組件協同構建功能全面的架構
關鍵能力基礎公網訪問、基礎安全防護負載均衡、高可用保障、分布式存儲與緩存、數據庫服務、搜索服務、多實例協同擴展
復雜性
資源規模單一實例 + 基礎網絡資源多類型、多實例、多服務組合的資源集群
可靠性保障依賴單實例穩定性通過集群架構、負載均衡和多實例部署實現高可用性,降低單點故障風險
擴展性擴展性有限,需通過單機升級實現資源擴容支持按需橫向擴展實例數量,通過容器集群靈活調整資源規模,滿足業務增長需求

在這里插入圖片描述

2、選擇模板:使用一鍵部署云服務器單機部署,如下頁面默認配置,直接下一步

在這里插入圖片描述

3、參數配置:按模板要求對部分資源加密的勾選取消(默認是勾選,如果不取消下一步的時候可能會報錯),配置dify_version默認是最新版本更改到0.15.2版本,配置ecs_password(云服務器密碼,長度為8-26位,密碼至少包含大寫字母、小寫字母、數字和特殊字符(!@$%^-_=+[{}]:,./?)中的三種。管理員賬戶默認root)

在這里插入圖片描述

4、資源棧設置:開啟回滾設置(開啟回滾表示操作失敗時,會自動回滾至系統所保存的上一個成功的資源狀態。創建后可在資源棧詳情頁面修改),刪除保護可以根據需求開啟(防止資源棧被意外刪除。創建后可在資源棧詳情頁面修改)

在這里插入圖片描述

5、配置確認,直接點擊創建執行計劃

在這里插入圖片描述

在這里插入圖片描述

6、部署-執行

在這里插入圖片描述

在這里插入圖片描述

7、點擊事件觀察部署情況,看是否有報錯,如果沒有等到部署完成即可(預計10分鐘左右,這個過程中代表華為云正在創建 1 臺華為云 Flexus 云服務器 X 實例,搭配 1 個彈性公網 IP 和 1 個安全組,創建完成后就可以通過瀏覽器鏈接直接訪問Dify - LLM 應用開發平臺)

在這里插入圖片描述

8、基本信息頁面查看,是否部署成功,顯示部署成功即可點擊輸出,復制瀏覽器訪問鏈接來訪問Dify - LLM 應用開發平臺

在這里插入圖片描述

在這里插入圖片描述

9、通過瀏覽器訪問鏈接來訪問Dify - LLM 應用開發平臺,設置管理員賬戶Dify - LLM 應用開發平臺

在這里插入圖片描述

10、通過設置的管理員賬戶信息來登錄

在這里插入圖片描述

11、登錄后顯示如下頁面,代表Dify - LLM 應用開發平臺已經部署成功

在這里插入圖片描述

3、Dify平臺模型供應商配置

1、Dify - LLM 應用開發平臺模型供應商配置(接入DeepSeek)

在這里插入圖片描述

2、模型供應商中找到OpenAI-API-compatible并且安裝

在這里插入圖片描述

3、安裝成功如下所示

在這里插入圖片描述

4、DeepSeek模型供應商配置(OpenAI-API-compatible供應商)

在這里插入圖片描述

5、配置頁面

在這里插入圖片描述

6、API Key獲取:ModelArts Studio控制臺,點擊API KEY管理,創建自己的API KEY,標簽和描述根據自己的填即可,獲取到自己的API KEY注意保存(只會顯示一次自己的API KEY)

在這里插入圖片描述

在這里插入圖片描述

7、自定義 API endpoint 地址獲取:ModelArts Studio控制臺,點擊在線推理,選擇自己的服務,商用服務或者免費服務的用法相同,點擊調用說明獲取自定義API endpoint 地址

在這里插入圖片描述

8、點擊OpenAI SDK復制API接口信息,這個就是自己的API endpoint 地址

在這里插入圖片描述

9、Dify - LLM 應用開發平臺填寫獲取到的API KEY和自定義 API endpoint 地址和模型名稱

在這里插入圖片描述

10、點擊保存,頁面會顯示修改成功,配置成功頁面如下

在這里插入圖片描述

3、Dify平臺模型供應商配置

1、Dify - LLM 應用開發平臺模型供應商配置(接入DeepSeek)

在這里插入圖片描述

2、模型供應商中找到OpenAI-API-compatible并且安裝

在這里插入圖片描述

3、安裝成功如下所示

在這里插入圖片描述

4、DeepSeek模型供應商配置(OpenAI-API-compatible供應商)

在這里插入圖片描述

5、配置頁面

在這里插入圖片描述

6、API Key獲取:ModelArts Studio控制臺,點擊API KEY管理,創建自己的API KEY,標簽和描述根據自己的填即可,獲取到自己的API KEY注意保存(只會顯示一次自己的API KEY)

在這里插入圖片描述

在這里插入圖片描述

7、自定義 API endpoint 地址獲取:ModelArts Studio控制臺,點擊在線推理,選擇自己的服務,商用服務或者免費服務的用法相同,點擊調用說明獲取自定義API endpoint 地址

在這里插入圖片描述

8、點擊OpenAI SDK復制API接口信息,這個就是自己的API endpoint 地址

在這里插入圖片描述

9、Dify - LLM 應用開發平臺填寫獲取到的API KEY和自定義 API endpoint 地址和模型名稱

在這里插入圖片描述

10、點擊保存,頁面會顯示修改成功,配置成功頁面如下

在這里插入圖片描述

4、高質量知識庫配置Embedding及Rerank模型
4.1 部署Embedding及Rerank模型

1、登錄華為云解決方案實踐,選擇快速部署Embedding及Rerank模型

在這里插入圖片描述

2、點擊進入-下滑至方案架構

在這里插入圖片描述

3、區域選擇

成本預算:3~6元(按需計費:Flexus云服務器X實例2.28元/小時,彈性公網IP EIP0.80元/GB,體驗本方案預計成本不超過6元)

在這里插入圖片描述

4、選擇模板

  • 默認配置下一步

在這里插入圖片描述

5、參數配置

  • 按模板要求對部分資源加密取消勾選
  • ecs_password:云服務器密碼,長度為8-26位,密碼至少必須包含大寫字母、小寫字母、數字和特殊字符(!@$%^-_=+[{}]:,./?)中的三種、

在這里插入圖片描述

6、資源棧設置

開啟回滾設置:開啟回滾表示操作失敗時,會自動回滾至系統所保存的上一個成功的資源狀態。創建后可在資源棧詳情頁面修改。

在這里插入圖片描述

7、配置確認

在這里插入圖片描述

8、創建執行計劃

在這里插入圖片描述

9、部署

在這里插入圖片描述

10、執行計劃

在這里插入圖片描述

11、基本信息中等待狀態改變為部署完成即可完成部署

在這里插入圖片描述

在這里插入圖片描述

4.2 高質量知識庫模型供應商配置
4.2.1 ECS公網IP獲取

1、ECS公網IP獲取

在這里插入圖片描述

在這里插入圖片描述

4.2.2 Ollama模型安裝

1、安裝bge-m3(embedding)和bge-reranker-v2-m3 (reranker)模型供應商

  • Ollama安裝

在這里插入圖片描述

在這里插入圖片描述

2、Ollama模型供應商配置

在這里插入圖片描述

  • 模型類型:Text Embedding
  • 模型名稱:bge-m3
  • 基礎URL:http://ECS公網IP:11434(如上前提有獲取流程)
  • 端口號:11434

在這里插入圖片描述

3、Xorbits Inference模型安裝

在這里插入圖片描述

在這里插入圖片描述

4.2.3 Xorbits Inference模型安裝

4、Xorbits Inference模型配置

模型類型: Rerank

模型名稱與模型UID均填寫:bge-reranker-v2-m3

服務器URL:http://ECS公網IP:9997

端口號:9997

在這里插入圖片描述

在這里插入圖片描述

5、模型成功配置

在這里插入圖片描述

如上即完成了華為云單機部署以及高質量知識庫配置Embedding及Rerank模型的創建和配置,后續即可直接在華為云Dify平臺中,直接創建高質量知識庫,經濟知識庫默認配置,不需要特殊創建過程。

資源刪除銷毀

Tip:

  • 刪除資源棧的流程官方文檔比較詳細可以參考官方文檔
  • 資源刪除銷毀單機部署和CCE集群高可用部署的方式相同

1、進入資源編排服務控制臺,找到剛創建成功的資源棧,單擊行操作列的刪除,頁面彈出確認刪除框,在輸入框中再次輸入Delete,單擊確定,即可刪除

在這里插入圖片描述

2、如果啟用刪除保護的情況下刪除資源堆棧,則會顯示錯誤消息

在這里插入圖片描述

3、只需要將刪除保護關閉再刪除即可(此處我并未開啟所以不做演示)

在這里插入圖片描述

華為云單機部署Dify平臺

華為云單機部署 Dify 平臺,15 分鐘即可自動化完成相關依賴配置,便捷高效。借助 Flexus X 實例,具備高性能架構與場景化加速能力,成本上有柔性算力革新,還提供旗艦級可靠性保障 ,適合個人開發者或團隊快速體驗 Dify 基礎功能,進行小規模試驗與原型驗證

?部署便捷:利用華為云一鍵部署功能,15 分鐘可自動化完成 VPC、OBS 等依賴配置,較手動部署效率提升 90%。無需復雜的多實例或高可用架構配置,適合個人開發者或團隊快速體驗基本功能,10 分鐘內即可啟動,便于模型調試、小規模應用驗證

?性能卓越:以華為云 Flexus X 實例為算力底座,基于擎天架構,單核性能較傳統 x86 實例優化 60%,整體算力達業界 1.6 倍。借助 X - Turbo 引擎,PostgreSQL 查詢 TPS 達 1200,是傳統實例 6 倍,Redis 延遲 < 10ms,向量檢索速度提升至 5000 條 / 秒,模型推理吞吐量增加 35%,支持單實例 15 路并發查詢

?安全可靠:依托華為云跨可用區(AZ)容災機制,45 秒內可完成故障遷移,可用性達 99.995%。通過 OBS AES - 256 加密、SSL/TLS 鏈路保護滿足等保 2.0 合規,以剛性 SLA 承諾,未達標最高獲 300% 資源券賠償

總結

本指南完整覆蓋華為云單機部署 Dify-LLM 開發平臺的全流程,通過 Flexus 云服務器 X 實例的一鍵自動化部署,15 分鐘即可完成從環境搭建到模型配置的全鏈路操作,單核性能較傳統架構提升 60% 的同時,成本低至 0.95 元 / 小時。結合 DeepSeek 模型接入與 bge 系列 Embedding、Rerank 模型的高效配置,不僅實現向量檢索速度 5000 條 / 秒、PostgreSQL 查詢 TPS 達 1200 的高性能表現,更通過跨可用區容災、AES-256 加密等機制保障系統可靠性。該方案尤其適合中小團隊快速驗證 LLM 應用原型,且支持平滑擴展至 CCE 集群,為規模化部署奠定基礎。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/88530.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/88530.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/88530.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

?通義萬相 2.1(Wan2.1)環境搭建指南:基于 CUDA 12.4 + Python 3.11 + PyTorch 2.5.1 GPU加速實戰

&#x1f680;【超詳細】基于 CUDA 12.4 Python 3.11 構建 Wan2.1 項目的集成推理環境&#xff08;含 PyTorch 2.5.1 GPU 安裝教程&#xff09; 本文將一步一步帶你搭建一個可用于構建和運行 Wan2.1 的深度學習環境&#xff0c;完全兼容 CUDA 12.4&#xff0c;并基于官方鏡像 …

PROFIBUS DP轉ETHERNET/IP在熱電項目中的創新應用

在熱電項目中&#xff0c;多種設備的高效協同是保障能源穩定供應的關鍵。PROFIBUS DP與ETHERNET/IP兩種工業通信協議因特性不同而應用場景各異。通過協議轉換技術實現JH-PB-EIP疆鴻智能PROFIBUS DP轉ETHERNET/IP&#xff0c;可整合西門子PLC與電力儀表、變頻器等設備&#xff0…

精準把脈 MySQL 性能!xk6-sql 并發測試深度指南

在數據庫性能測試領域&#xff0c;xk6-sql憑借其強大的功能和靈活性&#xff0c;成為眾多開發者和測試人員的得力工具。它能夠模擬高并發場景&#xff0c;精準測試數據庫在不同負載下的性能表現。然而&#xff0c;在一些網絡受限的環境中&#xff0c;實現xk6-sql的離線安裝以及…

【文件】Linux 內核優化實戰 - fs.inotify.max_user_instances

目錄 一、參數作用與原理1. 核心功能2. 應用場景 二、默認值與影響因素1. 默認配置2. 影響因素 三、調整方法與示例1. 查看當前值2. 臨時修改&#xff08;生效至系統重啟&#xff09;3. 永久修改&#xff08;修改配置文件&#xff09;4. 合理值建議 四、常見報錯與解決方案1. 報…

c++系列之特殊類的設計

&#x1f497; &#x1f497; 博客:小怡同學 &#x1f497; &#x1f497; 個人簡介:編程小萌新 &#x1f497; &#x1f497; 如果博客對大家有用的話&#xff0c;請點贊關注再收藏 &#x1f31e; 僅在堆上創建對象的類 將類的構造函數&#xff0c;拷貝構造私有,防止在棧上生…

SpringBoot的國際化

國際化&#xff08;internationalization&#xff09;是設計容易適應不同區域要求的產品的一種方式。它要求從產品中抽離所有地域語言元素。換言之&#xff0c;應用程序的功能和代碼設計考慮了在不同地區運行的需要。開發這樣的程序的過程&#xff0c;就稱為國際化。 那么當我…

prometheus+grafana+Linux監控

prometheusgrafanaLinux監控 環境說明 操作前提&#xff1a; 先去搭建Docker部署prometheusgrafana...這篇文章的系統 Docker部署prometheusgrafana...的參考文章&#xff1a; Docker部署prometheusgrafana…-CSDN博客 Linux部署docker參考文章&#xff1a; 02-Docker安裝_doc…

文檔處理控件Aspose.Words教程:在.NET中將多頁文檔轉換為單個圖像

在Aspose.Words for .NET 25.6版本中&#xff0c;我們引入了一項新功能&#xff0c;允許您將多頁文檔導出為單個光柵圖像。當您需要將文檔作為單個可視文件共享或顯示時&#xff0c;此功能非常有用。 Aspose.Words for .NET 25.6 的新功能 在 25.6 版之前&#xff0c;將多頁文…

vuex4.0用法

VUEX 狀態管理&#xff0c;多個組件有共享數據的時候&#xff0c;就叫狀態管理 什么情況下會用到vuex , 如果你不知道vuex的情況也能完成你的需求&#xff0c;就說你的項目中不需要用到狀態管理。 組件層級比較復雜的時候&#xff0c;還是用組件傳值的方式來傳值&#xff0c;…

2025.6.24總結

今天發生了兩件事&#xff0c;這每件事情都足以影響我的工作狀態。 1.團隊中有人要轉崗 這算是最讓我有些小震驚的事件了。我不明白&#xff0c;那個同事干得好好的&#xff0c;為啥會轉崗&#xff0c;為啥會被調到其他團隊。雖然團隊有正編&#xff0c;有od,但我自始自終覺得…

狀態模式詳解

概述 結構設計類似責任鏈模式&#xff0c;但是在各個狀態進行遍歷的過程中&#xff0c;更注重的是條件的判斷&#xff0c;只有符合條件的狀態才能正常匹配進行處理。條件不成功的會立即切換到下一個狀態。 有限狀態機 狀態機一般指的是有限狀態機&#xff08;FSM&#xff1a…

Lua 調試(Debug)

Lua 調試(Debug) 引言 Lua 是一種輕量級的編程語言&#xff0c;廣泛應用于游戲開發、嵌入式系統、腳本編寫等領域。在 Lua 開發過程中&#xff0c;調試是確保程序正確運行的重要環節。本文將詳細介紹 Lua 調試的基本方法、常用工具以及調試技巧&#xff0c;幫助開發者提高編程…

Windows安裝Emscripten?/emsdk(成功)

安裝git安裝python 不要自行下載版本&#xff0c;先卸載其他版本的python。 使用管理員打開cmd&#xff0c;輸入python3&#xff0c;直接跳轉到應用商店&#xff0c;安裝即可。 為什么一定要這么安裝&#xff1f;好像是跟路徑有關。 下載emsdk git clone https://github.c…

AI網頁部署在本地_windows

用bolt.new寫了一個網頁&#xff0c;下載ZIP至本地 以下是在 Windows 上本地運行你用 Node.js 搭建的網頁服務&#xff0c;并在瀏覽器中訪問的常見流程&#xff1a; 1、安裝 Node.js 訪問官網 Node.js — Run JavaScript Everywhere &#xff0c;下載適合 Windows 的 LTS 版本…

Linux sudo命令

sudo是一個常用的Linux命令&#xff0c;用于以超級用戶的權限執行命令。下面是對sudo命令的介紹&#xff1a; sudo命令的作用&#xff1a; sudo允許普通用戶以超級用戶&#xff08;root&#xff09;的身份執行特定命令或訪問特定文件。它提供了一種安全且可控制的方式&#xf…

郵件合并----批量從excel表中導出數據到word中

文章目錄 前言一、操作流程1. 打開word&#xff0c;開始郵件合并->郵件合并分布向導2. 開始郵件合并&#xff0c;一共6步3. 選擇全部&#xff0c;點擊確認&#xff0c;即可生成Excel表中244條記錄&#xff0c;也就是244頁。 總結 前言 涉及到將學生的姓名、學號、檔案編號、…

活動安排貪心算法

輸入說明 n??????—— 活動數量 s[1…n]??— 第 i 個活動的開始時間 (start) f[1…n]??— 第 i 個活動的結束時間 (finish) 前置要求&#xff1a;數組已按 f 從小到大排好序 &#xff08;若沒排&#xff0c;先調用 sortByFinishTime()&#xff0c;復雜度 O(n log …

Mysql8啟用日志審計插件

概述 等保要求&#xff0c;數據庫啟用日志審計。Mysql8上面使用開源插件audit-plugin-for-mysql&#xff08;MariaDB的審計插件不用折騰了&#xff0c;無論直接使用還是編譯使用&#xff0c;在Mysql8上都不行&#xff09; 插件下載 日志審計插件下載地址&#xff1a; https:…

機器學習-線性模型

目錄 線性模型 1、線性回歸&#xff1a; 2、對數幾率回歸&#xff1a; 3、線性判別分析&#xff1a; 4、多分類學習&#xff1a; 5、類別不平衡問題&#xff1a; 基本數理知識補充&#xff1a; 損失函數&#xff1a; 凹凸函數 梯度下降 線性模型 線性模型形式簡單、易…

Git上傳代碼如何解決Merge沖突

示例 解決方案 1、第一步切到本地的主分支 git checkout master2、拉取線上最新的代碼 git pull3、切到本地自己的分支 gco feat-xx4、將代碼從master變基&#xff08;移動/合并&#xff09;過來 git rebase master5、手動解決沖突 <<<<<<< HEAD 本…