移動云以深度融合之服務，令“大”智慧貫穿云端

移動云助力大模型，開拓創新領未來。

云計算——AI模型的推動器。

當前人工智能技術發展的現狀和趨勢，以及中國在人工智能領域的發展策略和成就。確實，以 ChatGPT 為代表的大型語言模型在自然語言處理、文本生成、對話系統等領域取得了顯著的成果，并且正在逐步改變我們的工作和生活方式。
由于政府部門的大力支持和企業的積極投資，人工智能產業得到了迅速發展。大型模型訓練和部署需要巨大的計算資源和存儲空間，以及相應的技術支持，這對許多企業來說是一個挑戰。云計算平臺提供了解決這一問題的方案，它允許企業通過按需購買服務的方式來使用計算資源，而無需自行建設和維護昂貴的硬件基礎設施。
中國移動云和九天人工智能的合作，展示了中國在人工智能領域的創新和進步。通過構建智能計算基礎設施，提供高效的智能化算力服務，中國正在推動從數字化到數智化的轉變，這將有助于提升國家的競爭力。
此外，中國還在人工智能的關鍵技術領域進行突破，比如算網大腦的構建，這將進一步提升人工智能模型的性能和應用效率。通過這些努力，中國有望在未來的人工智能領域繼續保持領先地位。
在這里插入圖片描述

架構創新，改變云計算服務供給模式

移動云通過推出COCA（Compute on chip Architecture）軟硬一體片上計算架構，正在重塑云計算服務供給模式，這一架構的發布標志著移動云在算力服務模式創新方面邁出了重要一步。COCA架構的三大核心單元——GPU、DPU、HPN，結合自研可編程DPU、多元異構智能算力、高性能RDMA網絡、Diskless存儲架構引擎等技術，旨在構建高效的大模型算力基礎設施。這種基礎設施能夠實現高性能算力集群的橫向融合和垂直抽象，統一提供計算、存儲、網絡、安全、管控能力的硬件卸載加速。

通過COCA架構，移動云計劃加速算力基礎設施的建設，并為目標用戶提供一體化的算力服務，這些服務將具有“融合、智能、無感、極簡”的特點。這種服務模式不僅提供了強大的計算能力，還通過硬件卸載加速減少了資源浪費，提高了效率，使得用戶能夠更加專注于自己的業務需求，而不是基礎的計算資源管理。這一創新有望在云計算領域引發新的變革，為企業和開發者提供更加高效、智能的算力支持。
對此感興趣的伙伴可以嘗試體驗一下，下面將介紹如何在移動云上簡單部署大模型。
在這里插入圖片描述

移動云上部署大模型ChatGLM3-6b

前言

通過移動云，大語言模型可以在移動設備上得到更好的應用和發展。在部署后可以完全本地運行，后面將介紹移動云部署大模型的實際應用，介紹怎么通過移動云上在 Linux 服務器上部署 ChatGLM3 服務，并通過多種方式使用本地部署地大模型。

服務器準備

移動云服務器（試用申請網址）

  1. 進入官網頁面后，進行實名認證，選擇一個合適的云服務器。
    在這里插入圖片描述

  2. 選擇地區，以及服務器的型號與配置。
    在這里插入圖片描述

  3. 網絡配置（如果自己將要將自己的網站放在公網中時，需要先進行ICP備案。）以下操作將自己的網絡地址配置到自己的云主機中。
    在這里插入圖片描述

  4. 當前往支付完成后可以就得到一臺Linux服務器。
    在這里插入圖片描述
    在這里插入圖片描述

  5. 進行密碼修改
    在這里插入圖片描述
    在這里插入圖片描述

  6. 找到彈性公網IP，將系統默認給的公網IP分配給我們的云主機。
    在這里插入圖片描述

  7. 遠程登陸需要開放ssh端口（22）
    在這里插入圖片描述

  8. 使用遠程登陸軟件，可以直接用vscode登陸，這里用xshell演示。
    在這里插入圖片描述

環境準備

  1. 安裝 Python 環境
    在Linux操作系統中，盡管通常會預裝Python解釋器，但其版本往往較低，可能不符合ChatGLM所需的最小Python版本要求（3.7及以上）。因此，在大多數情況下，用戶需要部署一個符合要求的Python環境。然而，如果系統已經配備了滿足條件的Python版本，則無需重復安裝。
    盡管可以選擇從源代碼下載并編譯安裝Python，但為了簡化安裝過程，確保PyTorch等庫的順利安裝，并避免對系統穩定性造成影響，推薦使用Anaconda發行版來安裝Python環境。
# 下載 conda 安裝包
wget https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh
# 安裝 conda 注意安裝過程中指定安裝路徑
bash Anaconda3-2023.03-1-Linux-x86_64.sh
# 配置軟連接
ln -s /[your-install-path]/anaconda3/condabin/conda /usr/bin/conda
  1. 安裝 Git LFS
    為了高效地從 Hugging Face Hub 上下載 ChatGLM 模型到本地，并提高加載模型的響應效率，推薦先安裝 Git LFS（Large File Storage）。Git LFS 是一種適用于 Git 倉庫的工具，它能夠優化大文件的管理，使得文件傳輸更加高效。
sudo yum install git -y
git --version
sudo yum install git-lfs -y

模型安裝

  1. 下載 ChatGLM3
    首先，請從 Github 下載 ChatGLM3 倉庫，并在倉庫目錄下使用 pip 安裝所需的依賴。
    根據官方推薦，為了獲得最佳的推理性能，建議使用 transformers 庫的 4.30.2 版本，以及 torch 2.0 或更高版本。
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
# conda 創建虛擬環境
conda create -n torch python=3.10
# 激活環境 # 退出環境 conda deactivate
conda activate torch
# 下載依賴包
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
  1. 下載預訓練模型
    下面我們用 Git LFS 從 Hugging Face Hub 將模型下載到本地，從本地加載模型響應速度更快。
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b

如果從你從 HuggingFace 下載比較慢，也可以從 ModelScope 中下載！

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

模型使用

首先，將你從 THUDM/ChatGLM3-6b 下載的預訓練模型文件保存在 ChatGLM3 倉庫的適當目錄中。如果你是通過 ModelScope 獲取的模型，請確保目錄結構正確，因為加載模型時可能需要調整本地的路徑設置。
ChatGLM3 支持三種使用方式：命令行界面、網頁版界面和 API 接口。在運行模型之前，你需要找到對應使用方式的 Python 源代碼文件，即 cli_demo.py、web_demo.py 和 openai_api.py。在這些文件中，你需要修改一行代碼，使其指向你的模型文件。

model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).cuda()

修改兩個地方：（1）本地模型的存放路徑 THUDM/chatglm3-6b；（2）根據自己的硬件環境參考 DEPLOYMENT.md 選擇模型加載方式，float() CPU 部署，cuda() GPU 部署。

  1. 命令行版 cli_demo.py
    命令行啟動方式，首先找到 ChatGLM3 目錄下的 cli_demo.py 文件，修改代碼如下：
    在這里插入圖片描述

修改完成之后，到 ChatGLM3 目錄下運行 python cli_demo.py 啟動服務
程序會在命令行中進行交互式的對話，在命令行中通過 用戶： 進行輸入指示，直接輸入問題回車即可生成回復，輸入 clear 可以清空對話歷史，輸入 stop 終止程序。
在這里插入圖片描述
2. 網頁版 web_demo.py
網頁版和命令行相似，但是提供了更加友好交互頁面，找到 ChatGLM3 目錄下的 web_demo.py 文件，做出相同的代碼修改，

然后，到 ChatGLM3 目錄下運行 python web_demo.py 啟動服務
程序會運行一個 Web Server，并輸出一個訪問地址，在瀏覽器中打開輸出的地址即可使用。
在這里插入圖片描述
3. API 部署 openai_api.py
這個部分將結合 ChatGPT-Next-Web為例，使得ChatGLM3 實現了 OpenAI 格式的流式 API 部署，這使得ChatGLM3可以作為任意基于 ChatGPT 的應用的后端。
首先，到 https://github.com/Yidadaa/ChatGPT-Next-Web/releases 下載 ChatGPT-Next-Web，這個交互頁面很輕量級。
然后，到 ChatGLM3 目錄下找到 openai_api.py 源碼文件，和上面方式一樣，修改本地模型路徑和部署方式，還有根據自己需要修改最后一行代碼中定義的 Host 和 Port，這是 ChatGPT 應用的訪問 URL。
在這里插入圖片描述

接著，在倉庫目錄下執行 python openai_api.py 啟動模型服務
在這里插入圖片描述

然后將日志打印出的接口地址 http://localhost:8000/ 寫入 ChatGPT-Next-Web 的設置中，并添加自定義模型 chatglm3
在這里插入圖片描述
完成設置之后，API部署就完成了。
在這里插入圖片描述

結束語

了解更多移動云產品請移步官網移動云官網

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/16096.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/16096.shtml
英文地址，請注明出處：http://en.pswp.cn/web/16096.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

項目管理:敏捷實踐框架

項目管理:敏捷實踐框架

一、初識敏捷 什么是敏捷(Agile)?敏捷是思維方式。 傳統開發模型 央企，國企50%-60%需求分析。整體是由文檔控制的過程管理。 傳統軟件開發面臨的問題： 交付周期長：3-6個月甚至更長溝通效果差：文檔化溝通不及時按時發布低：技術債增多無法發版團隊士氣弱：死亡行軍不關注…
閱讀更多...
Vmware 17安裝 CentOS9

Vmware 17安裝 CentOS9

前言 1、提前下載好需要的CentOS9鏡像，下載地址，這里下載的是x86_64 2、提前安裝好vmware 17，下載地址 ，需要登錄才能下載 安裝 1、創建新的虛擬機 2、在彈出的界面中選擇對應的類型，我這里選擇自定義，點…
閱讀更多...
python command亂碼怎么解決

python command亂碼怎么解決

python command亂碼怎么解決？具體方法如下： 先引入import sys 再加一句：typesys.getfilesystemencoding() 然后在輸出亂碼的數據的后面加上“.decode(utf-8).encode(type)”。 比如輸入“ss”亂碼。 就寫成print ss.decode(utf-8).encode(typ…
閱讀更多...
USB - Host controller類型介紹

USB - Host controller類型介紹

USB 主機控制器類型 USB 主機控制器是計算機系統中的重要組件，負責管理計算機與連接的 USB 設備之間的通信。多年來，針對不同的 USB 標準和數據傳輸速率，開發了多種類型的 USB 主機控制器。以下是主要 USB 主機控制器類型的概述： …
閱讀更多...
【話題】AIGC行業現在適合進入嗎

【話題】AIGC行業現在適合進入嗎

大家好，我是全棧小5，歡迎閱讀小5的系列文章，這是《話題》系列文章 目錄 引言AIGC的發展階段市場需求時機是否合適優勢挑戰 文章推薦 引言 在撰寫關于當前是否適合進入AIGC（人工智能生成內容）行業的文章之前&#xff0…
閱讀更多...
從零實現Llama3中文版

從零實現Llama3中文版

1.前言 一個月前，Meta 發布了開源大模型 llama3 系列，在多個關鍵基準測試中優于業界 SOTA 模型，并在代碼生成任務上全面領先。 此后，開發者們便開始了本地部署和實現，比如 llama3 的中文實現、llama3 的純 NumPy 實現…
閱讀更多...
數據結構——鏈式二叉樹知識點以及鏈式二叉樹數據操作函數詳解！！

數據結構——鏈式二叉樹知識點以及鏈式二叉樹數據操作函數詳解！！

引言：該博客將會詳細的講解二叉樹的三種遍歷方法：前序、中序、后序，也同時會講到關于二叉樹的數據操作函數。值得一提的是，這些函數幾乎都是建立在一個函數思想——遞歸之上的。這次的代碼其實寫起來十分簡單，用不了幾…
閱讀更多...
告別紅色波浪線：tsconfig.json 配置詳解

告別紅色波浪線：tsconfig.json 配置詳解

使用PC端的朋友，請將頁面縮小到最小比例，閱讀最佳！ tsconfig.json 文件用于配置 TypeScript 項目的編譯選項。如果配不對，就會在項目中顯示一波又一波的紅色波浪線，警告你這些地方的類型聲明存在問題。 一般我們遇到這…
閱讀更多...
在沒有dubbo-admin情況下如何判斷zk中注冊的dubbo服務是否注冊成功

在沒有dubbo-admin情況下如何判斷zk中注冊的dubbo服務是否注冊成功

通常我們都是通過dubbo-admin來查看dubbo服務是否注冊成功，那么如果沒有部署dubbo-admind的情況下，我們如何來判斷dubbo服務是否注冊成功： 一、首先我們進入到zookeeper bin目錄下使用以下指令連接到zk: ./zkCli.sh -server ip:port ip&…
閱讀更多...
Linux文件系統原理

Linux文件系統原理

Linux文件系統 馮諾依曼在1945年提出計算機的五大組成部分 運算器：CPU 控制器：CPU 存儲器：內存和硬盤 輸入設備：鼠標、硬盤 輸出設備：顯示器一、硬盤結構 機械硬盤結構 扇區：硬盤的最小存儲單位&#xff…
閱讀更多...
Transformer講解大綱，寫PPT的可參考

Transformer講解大綱，寫PPT的可參考

前言 在這個信息如星辰般璀璨的時代，我們被無數的語言和文字包圍。它們如同夜空中閃爍的繁星，每一顆都蘊藏著獨特的故事和知識。然而，如何解讀這些星辰的秘密，如何將它們的光芒匯聚成智慧的海洋，成為了我們這個時代的挑戰。今天，我們將一起探索一種名為Transformer的神秘…
閱讀更多...
【路徑規劃】基于遺傳算法GA實現最短距離 多起點多終點多旅行商問題求解附Matlab代碼

【路徑規劃】基于遺傳算法GA實現最短距離 多起點多終點多旅行商問題求解附Matlab代碼

基于遺傳算法GA實現最短距離 多起點多終點多旅行商問題求解 研究背景：研究步驟：研究方法和技術路線：代碼研究背景： 多起點多終點多旅行商問題是旅行商問題（TSP）的一個擴展，該問題要求確定多個旅行商從各自的起點出發，分別經過一系列目標點最終回到各自的終點，使得總路…
閱讀更多...
IOT技術怎么落地?以寶馬,施耐德為例

IOT技術怎么落地?以寶馬,施耐德為例

物聯網技術 物聯網（IoT）技術正逐漸成為數字化工廠轉型的核心驅動力。本文將通過實際案例，探討IoT技術如何促進制造業的數字化轉型，提高生產效率，降低成本，并提升產品質量。 1. 物聯網技術簡介 物聯網技術通…
閱讀更多...
vue 模擬隨機經緯度(小數點后保留6位),直接可用

vue 模擬隨機經緯度(小數點后保留6位),直接可用

1.隨機生成經緯度 // 隨機生成經緯度的方法function generateRandomLatLng(latitudeRange, longitudeRange) {const randomLat (Math.random() * latitudeRange.max latitudeRange.min).toFixed(6)const randomLng (Math.random() * longitudeRange.max longitudeRange.mi…
閱讀更多...
MySQL數據庫基礎：使用、架構、SQL語句、存儲引擎

MySQL數據庫基礎：使用、架構、SQL語句、存儲引擎

文章目錄 什么是數據庫CS模式 基本使用安裝鏈接服務器服務器、數據庫、表關系簡單使用數據庫在Linux下的體現 MySQL架構連接器層客戶端層服務層存儲引擎層物理存儲層 SQL分類存儲引擎 什么是數據庫 mysql：數據庫服務的客戶端mysqld：數據庫服務的服務器端…
閱讀更多...
PLC_博圖系列?R_TRIG：檢測信號上升沿

PLC_博圖系列?R_TRIG：檢測信號上升沿

PLC_博圖系列?R_TRIG：檢測信號上升沿 文章目錄 PLC_博圖系列?R_TRIG：檢測信號上升沿背景介紹R_TRIG： 檢測信號上升沿說明參數示例 關鍵字： PLC、 西門子、 博圖、 Siemens 、 R_TRIG 背景介紹 這是一篇關于PLC編程的文章&a…
閱讀更多...
[ C++ ] 類和對象( 中 ) 2

[ C++ ] 類和對象( 中 ) 2

目錄 前置和后置重載 運算符重載和函數重載 流插入流提取的重載 全局函數訪問類私有變量 友員 const成員 取地址及const取地址操作符重載 前置和后置重載 運算符重載和函數重載 流插入流提取的重載 重載成成員函數會出現順序不同的情況（函數重載形參順序必須相…
閱讀更多...
數據結構（五）樹與二叉樹

數據結構（五）樹與二叉樹

2024年5月26日一稿（王道P142） 基本概念 術語 性質 二叉樹 5.2.2 二叉樹存儲結構
閱讀更多...
Spring從零開始學使用系列（三）--Spring框架中@Value注解和配置管理詳解

Spring從零開始學使用系列（三）--Spring框架中@Value注解和配置管理詳解

如果各位老爺覺得可以，請點贊收藏評論，謝謝啦！！ 文章中涉及到的圖片均由AI生成 公眾號在最下方！！！ 目錄 1. 如何在Spring中使用Value注解 1.1 基本用法 1.2提供默認值 2. 如何配置和使用Prop…
閱讀更多...
嵌入式進階——數碼管2

嵌入式進階——數碼管2

🎬 秋野醬：《個人主頁》 🔥 個人專欄:《Java專欄》《Python專欄》 ??心若有所向往,何懼道阻且長 文章目錄 驅動封裝封裝的一些疑問數字走馬燈實現擴展知識 驅動封裝 根據前面的內容可以將代碼進行封裝，封裝后作為一個獨立的整…
閱讀更多...
最新文章

Copyright @ 2022~2023