引言

---

隨著人工智能技術的發展，本地化部署的大語言模型（LLM）逐漸成為構建個性化智能服務的關鍵。AnythingLLM 作為一個開源的本地聊天助手解決方案，以其高效、安全和易用性受到了廣泛關注。借助華為云 ModelArts Studio 強大的 AI 工程化能力，我們能夠快速搭建并部署 AnythingLLM，實現從概念到應用的無縫銜接。通過本次實踐，我們將展示如何利用華為云的彈性計算資源和一站式服務，輕松創建一個功能強大的私有 AI 助手。

---

一、ModelArts Studio平臺介紹

華為云ModelArts Studio簡介

華為云ModelArts Studio是基于ModelArts構建的一站式大模型即服務平臺（MaaS），深度整合昇騰算力資源與全鏈路開發工具，為開發者提供從數據準備、模型訓練微調、提示詞工程到應用部署的全流程解決方案。平臺不僅預置主流開源大模型，還具備海量數據智能預處理、自動化標注、分布式訓練及模型自動生成能力，全面覆蓋AI模型全生命周期管理。無論是深耕算法的工程師、AI領域初學者，還是尋求智能化轉型的企業，都能依托ModelArts Studio的高效開發能力，快速實現AI應用的高質量落地與規模化部署。

• 華為云ModelArts Studio平臺地址：https://www.huaweicloud.com/product/modelarts/studio.html

ModelArts Studio主要特點

• ? 模型全、免配置、免調優、性能優
  業界 SOTA 大模型覆蓋度高達 99%，內置最優超參配置，結合昇騰算子優化與顯存管理，顯著提升訓練與推理性能。

• ? 開箱即用，一站式模型開發服務
  提供模型調優、壓縮、部署、評測等全棧工具，功能覆蓋大模型全生命周期，用戶無需搭建即可直接使用。

• ? 資源一站式按需開通，建設周期短
  計算資源可分鐘級獲取，支持按需計費、彈性擴縮容，并具備斷點續訓與故障快速恢復能力。

• ? 多服務組合競爭力，一站式應用能力集成
  支持 MCP Server、LangChain、RAG、Agent、Guard、九問等組件即插即用，靈活構建復雜 AI 應用場景。

• ? 兼容性強，適配主流框架與自定義需求
  全面支持 TensorFlow、PyTorch、MindSpore 等主流 AI 框架，同時支持用戶自研算法框架接入。

二、AnythingLLM介紹

AnythingLLM 簡介

AnythingLLM 是由 Mintplex Labs Inc. 開發的一款企業級本地化文檔聊天機器人解決方案，是目前全球首個支持完整本地大語言模型（LLM）交互的開源桌面應用。它不僅能夠與任何文檔內容進行智能對話，還提供強大的向量數據庫管理、API 集成和多用戶權限控制功能，適用于知識庫問答、企業私有化部署、AI 助手構建等多種場景。Everything is local by default —— 模型、文檔、聊天記錄全部存儲于本地，真正實現隱私優先、安全可控。

AnythingLLM主要特點

• 🔐 無需賬戶注冊，開箱即用，保護用戶隱私
• 💻 全平臺支持，兼容 macOS、Windows、Linux
• ?? 一鍵安裝，無需復雜配置即可快速啟動
• 📁 支持多種文檔格式：PDF、TXT、DOCX、CSV、MD 等
• 💬 雙模式聊天體驗：保留上下文的對話模式 & 快速問答的查詢模式
• 📚 自動向量化文檔，高效處理大型資料庫
• 🔍 引用文獻標注功能，回答結果來源清晰可查
• 🧠 內置 LLM 支持，本地運行無依賴云端服務
• 📈 成本優化設計，文檔嵌入僅需一次費用，節省高達 90%
• 🌐 開發者友好 API，便于深度集成與定制開發
• 👥 多用戶權限管理，滿足團隊協作與企業部署需求
• 🧱 可嵌入網頁小部件，輕松集成到網站或平臺中
• ?? 支持云端部署，靈活適配本地與在線使用場景

AnythingLLM地址

🚀 官網地址：https://useanything.com
📦 GitHub 地址：https://github.com/Mintplex-Labs/anything-llm

---

三、安裝AnythingLLM應用

下載AnythingLLM軟件

AingDesk下載地址：https://anythingllm.com/desktop，我們選擇Windows x64位版本進行下載。

安裝AnythingLLM工具

下載AnythingLLMk安裝包后，在本地Windows上直接安裝即可。

安裝安裝提示，依次點擊下一步安裝即可。

安裝AnythingLLM完成，打開后如下所示：

四、開通DeepSeek-R1-0528商用服務

訪問ModelArts Studio控制臺

我們登錄華為云官網后，在ModelArts Studio介紹頁中（官網地址：https://www.huaweicloud.com/product/modelarts/studio.html），我們點擊“ModelArts Studio控制臺”后，即可進入ModelArts Studio控制臺頁面。

DeepSeek-R1-0528 介紹

DeepSeek-R1-0528 是 DeepSeek 最新推出的大語言模型版本，專為提升復雜代碼生成與數學推理能力而設計。該模型在訓練數據和算法架構上進行了深度優化，顯著提升了以下方面的能力：

• 邏輯推理準確性
• 程序生成效率
• 數學問題求解能力

適用于如自動化編程、科研輔助、金融建模、數據分析等對精度與性能要求極高的高端應用場景，是開發者與研究人員的理想選擇。

---

?? 華為云 ModelArts Studio（MaaS 平臺）正式接入 DeepSeek-R1-0528

華為云 ModelArts Studio 是一站式 AI 開發平臺，現已全面接入 DeepSeek-R1-0528，進一步豐富了其 MaaS（Model as a Service）服務能力。

基于 昇騰云的強大算力底座，用戶可實現：

? 一鍵部署調用
? 低成本靈活擴展
? 高效應對復雜AI任務

此次合作不僅顯著增強了平臺在代碼生成與數學推理方面的表現，也大幅降低了使用門檻與成本，助力開發者與企業快速構建智能化應用，推動 AI 技術落地。

---

📌 立即體驗 DeepSeek-R1-0528，開啟智能開發新篇章！

開通DeepSeek-R1-0528服務

在ModelArts Studio控制臺首頁的左側菜單欄中，我們選擇模型推理——在線推理，選擇商務服務DeepSeek-R1-0528，點擊“開通服務”。

備注：

服務類型	描述	注意事項
免費服務	適合用于體驗模型，受嚴格的速率限制。	平臺可能會不定時調整其適用模型、免費額度、有效期等內容。
	- 單個模型提供200萬token推理額度。	額度消耗完后可選擇開通商用級別的推理API服務或部署為付費服務使用。
商用服務	提供商用級別的推理API服務。	開通后可獲取付費API服務（僅限貴陽一）。
	- 用戶可以前往費用中心查看模型服務的優惠折扣發放和使用情況。	可以前往“我的服務”部署為個人服務后付費使用。

點擊“開通服務”后，我們勾選同意協議，確認“立即開通”。

生成API Key

進入API Key管理頁面。可以選擇“創建API Key”，注意保存此API Key，建議保存在本地以便后續使用。

復制及保存OpenAI SDK信息

我們可以查看DeepSeek-R1-0528的使用說明，只需要點擊“調用說明”選項。

調用說明如下所示，我們將DeepSeek-R1-0528服務的OpenAI SDK相關文件復制，保存在本地文本文件或本地筆記中。

五、AnythingLLM基本配置工作

設置系統語言

點擊界面左下角的設置圖標，進入系統設置界面。

在外觀——系統偏好——顯示語言中，選擇顯示 AnythingLLM 界面所用的語言設置為Chinese。

配置AI提供商

🔐 LLM 首選項配置說明

LLM 首選項用于設置你所使用的 大語言模型（LLM）聊天服務與嵌入服務 的提供商憑據和相關參數。為確保 AnythingLLM 能夠正常運行，請務必保證所填寫的 API 密鑰是最新的且準確無誤。錯誤或過期的密鑰將導致模型無法調用。

📘 建議參考以下配置信息進行設置，以確保服務順利連接與運行。

• LLM提供商：Generic OpenAI（通過自定義配置連接任何兼容 OpenAI API 的服務）
• Base URL: https://api.modelarts-maas.com
• API Key: 填寫剛才保存的API Key
• Chat Model Name: deepseek-r1-250528
• Token context window: 2048 (模型能夠處理的輸入文本（包括對話歷史和當前輸入）的最大長度為 2048 個 token，超出此限制的部分將被截斷。)
• Max Tokens: 1024 (模型每次回復時最多生成 1024 個 token 的內容，這決定了輸出響應的最大長度。

新建工作區

在AnythingLLM的主界面中，點擊【新工作區】選項。

填寫工作區名稱，這里就填寫為測試工作區，點擊“保存”。

測試對話

我們先開始在對話框中尋味“你是誰”，AnythingLLM經過深度思考并給出回答。

六、使用體驗

在本次基于 華為云 ModelArts Studio 搭建 AnythingLLM AI 聊天助手 的實踐中，我深刻感受到華為云平臺在 AI 工程化落地方面的強大能力。ModelArts Studio 提供了一站式的模型部署、服務管理與接口調試功能，極大簡化了 AnythingLLM 的本地大模型運行環境搭建過程。無論是資源配置、容器管理還是公網訪問設置，操作都直觀高效，即使是初次接觸 AI 部署的開發者也能快速上手。更令人印象深刻的是其出色的資源調度能力和穩定的運行表現，即使面對高并發請求，系統依然保持低延遲響應，充分展現了華為云 Flexus 彈性算力和 ModelArts Studio 服務的強大性能。

七、實踐總結

---

🎯 實踐總結

在本次基于 華為云 ModelArts Studio 搭建 AnythingLLM AI 聊天助手 的實踐中，我深刻體會到華為云在 AI 開發領域的強大支撐能力。ModelArts Studio 提供了從模型部署、服務管理到 API 接口調用的一站式解決方案，極大地簡化了本地大語言模型的部署流程。整個過程無需復雜配置，即可快速構建一個穩定、高效的 AI 助手運行環境，真正實現了“開箱即用”的智能開發體驗。

? 為什么選擇華為云 ModelArts Studio？

• ? 高效部署：一鍵部署 AnythingLLM，支持多種模型接入，操作流暢無卡頓
• 🔧 靈活配置：資源彈性伸縮，適配不同規模的 AI 應用場景
• 📊 可視化監控：實時查看服務狀態與資源使用情況，運維更輕松
• ?? 云原生架構：依托華為云 Flexus 彈性算力，保障高并發下的穩定響應
• 🌐 公網訪問便捷：內網穿透配置簡單，快速對外提供服務

華為云 ModelArts Studio 不僅降低了 AI 開發的技術門檻，更為開發者提供了強大的工具支持與穩定的運行環境。無論是個人學習、團隊協作，還是企業級應用落地，它都是值得信賴的選擇！

---