零基礎保姆級本地化部署文心大模型4.5開源系列

近兩年隨著大模型的迅猛崛起,吸引了各行各業的廣泛關注,更對我們的工作方式與生活產生著顯著積極影響。在這樣一個技術范式轉換的關鍵節點,百度文心大模型開源事件無疑具有里程碑意義——它不僅為中國自主研發的AI技術底座打開了通向世界的大門,更以"開源共享協同創新"的開放姿態,為千行百業的數字化轉型注入了強勁動能,為數智化經濟時代添上濃墨重彩的一筆

站在技術革命的潮頭,你是否已感受到智能時代撲面而來的機遇?或許你正面臨技術門檻的困擾,或是在實踐過程中屢遇阻礙,尚未能順利搭乘這趟智能化的高速列車。莫急,本教程將全方位帶領大家零基礎部署文心大模型開源系列,無論你是剛入行的小白,還是尋求技術轉型的資深開發者,本次分享都將助力你進入大模型的世界,讓你少走彎路,確保一次性部署成功,即刻擁有自己的大模型服務。閑話少敘,直接上干貨

一、部署環境介紹

本教程文心大模型開源系列部署,基于如下軟硬件環境,請大家參考,盡量保持一致哈。

  • 操作系統:Ubuntu Linux 24.04.2 LTS
  • GPU:NVIDIA RTX 4090 [可選]
  • CUDA版本:12.6
  • cuDNN:9.10
  • Python版本:3.10

注:請務必確認自己的NVIDIA GPU是否支持CUDA12.6

二、如何確認GPU是否支持CUDA

打開Shell終端,輸入如下命令:

nvidia-smi

輸出內容如下圖所示:

注:只要這里顯示的CUDA版本號 ≥ 12.6 即可。

三、安裝步驟

不要畏懼AI大模型,它沒有那么難,也沒那么高不可攀。只要按如下順序流程逐步操作,成功部署 So Easy!

本教程致力于將AI復雜的部署流程標準化、流程化、簡單化。

注:本教程的相關Shell命令輸入,以root用戶執行。

1、準備階段

為防范因操作系統潛在漏洞或組件版本過舊而引發不必要的困擾與問題,請先將其升級到最新版本

打開Shell終端,輸入如下命令:

sudo apt update && sudo apt upgrade -y

輸出如下圖所示:

靜待升級完成...(此時可以先去喝杯咖啡,工作的同時,不耽誤享受生活 O(∩_∩)O)

2、安裝GPU顯卡驅動
  • 確認顯卡型號

????????打開Shell終端,輸入如下命令:

lspci | grep -i nvidia

? ? ? ? 輸出如下圖所示,GPU為:RTX 4090:

  • 查詢可用的顯卡驅動程序

????????輸入如下命令:

ubuntu-drivers devices

? ? ? ? 輸出如下圖所示:

  • 安裝驅動

????????請安裝系統推薦的顯卡驅動,以確保驅動程序的穩定性與后續升級的平滑性。

????????輸入如下命令:

sudo apt install nvidia-driver-570

? ? ? ? 輸出如下圖所示:

注:驅動下載與安裝時長,取決于你的網絡狀況,靜靜等待吧...(夏天喝杯冰美式,清涼一下)

  • 驅動安裝完成后,請重啟電腦【重要】

????????記住哦!重啟操作不可省!輸入此命令即可:

sudo reboot
  • 驗證驅動是否安裝成功

? ? ? ? 輸入如下命令:

nvidia-smi

? ? ? ? 輸出下圖內容,說明安裝成功。Perfect!?O(∩_∩)O

3、安裝CUDA

Linux安裝CUDA比Windows要方便很多,坑也少。下面采用在線安裝方式(官方推薦的方式),請確保你的網絡正常,且給力哦!安裝時長和網速有關。

  • 依次執行如下幾條命令:
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda-repo-ubuntu2404-12-6-local_12.6.3-560.35.05-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2404-12-6-local_12.6.3-560.35.05-1_amd64.deb

命令執行到這里,注意屏幕的輸出內容,如下所示:

劃重點:不用問為什么,直接復制執行即可。

繼續執行如下命令:

sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-6

注:執行到最后1條命令,才是真正開始安裝CUDA啦!

  • 添加CUDA到環境變量

? ? ? ? 請復制如下內容,將其添加到系統環境變量文件?/etc/profile

export CUDA_HOME=/usr/local/cuda
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

? ? ? ? 添加完畢后,請執行如下命令,讓環境變量立即生效。

source /etc/profile
  • 驗證CUDA是否安裝成功

? ? ? ? 輸入如下命令:

nvcc --version

? ? ? ? 輸出如下內容,即表示安裝成功。(很棒哦!距離成功,又進一步!)

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Tue_Oct_29_23:50:19_PDT_2024
Cuda compilation tools, release 12.6, V12.6.85
Build cuda_12.6.r12.6/compiler.35059454_0
4、安裝cuDNN

和CUDA的安裝方式非常相似,且比它還簡單,前面的安裝OK,這里就更 So Easy!

逐一按順序執行如下命令即可:

wget https://developer.download.nvidia.com/compute/cudnn/9.10.2/local_installers/cudnn-local-repo-ubuntu2404-9.10.2_1.0-1_amd64.deb
sudo dpkg -i cudnn-local-repo-ubuntu2404-9.10.2_1.0-1_amd64.deb

和CUDA一樣,按屏幕輸出,復制它并執行。

繼續執行如下命令:

sudo apt-get update
sudo apt-get -y install cudnn

至此,cuDNN安裝完畢,是否很簡單呢?O(∩_∩)O

5、安裝miniConda

miniConda用于創建python的虛擬環境,方便多個python環境的共存性與隔離性。一般實戰中,都會這么搭建python環境。

  • 下載安裝包,并安裝

? ? ? ? 請依次輸入如下命令:

wget https://repo.anaconda.com/miniconda/Miniconda3-py310_24.3.0-0-Linux-x86_64.sh
chmod 755 Miniconda3-py310_24.3.0-0-Linux-x86_64.sh && ./Miniconda3-py310_24.3.0-0-Linux-x86_64.sh

注:安裝過程,根據提示一步步來即可,類似于Windows安裝程序時的 “下一步”。

安裝成功后,如下圖所示:

  • 添加miniConda到環境變量

????????請復制如下內容,將其添加到系統環境變量文件?/etc/profile

export PATH=$PATH:/opt/miniconda/bin

? ? ? ? 然后執行如下命令,讓其立即生效。

source /etc/profile
  • 初始化miniConda

? ? ? ? 執行初始化命令:

conda init
  • 配置Conda國內源

????????(1)生成配置文件?.condarc?(其位置在用戶根目錄下)

conda config --set show_channel_urls yes

????????(2)將如下內容,復制到用戶目錄下的?.condarc?文件中

channels:- defaults
show_channel_urls: true
default_channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/clouddeepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

????????(3)清除索引緩存,確保用的是鏡像站提供的索引

conda clean -i
  • 配置Pip國內源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  • 查詢conda配置信息
conda info
6、安裝FastDeploy

FastDeploy 2.0版本,作為文心大模型推理與部署的生產級工具,極大的降低了我們使用大模型的門檻。

(1)基于miniConda創建Python環境

????????創建python 3.10環境,并將其命名為fastdeploy

conda create -n fastdeploy python==3.10

(2)切換到fastdeploy環境

conda activate fastdeploy

(3)安裝PaddlePaddle

? ? ? ? 輸入如下命令:

python -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/

????????驗證安裝是否成功

python -c "import paddle; paddle.utils.run_check()"

? ? ? ? 輸出如下內容,表示安裝成功

Running verify PaddlePaddle program ... 
I0705 17:09:09.105798 15416 pir_interpreter.cc:1524] New Executor is Running ...
W0705 17:09:09.106809 15416 gpu_resources.cc:114] Please NOTE: device: 0, GPU Compute Capability: 8.9, Driver API Version: 12.8, Runtime API Version: 12.6
I0705 17:09:09.107347 15416 pir_interpreter.cc:1547] pir interpreter is running by multi-thread mode ...
PaddlePaddle works well on 1 GPU.
PaddlePaddle is installed successfully! Let's start deep learning with PaddlePaddle now.

(3)安裝FastDeploy

? ? ? ? 輸入如下命令:

python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-86_89/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

四、部署文心大模型

1、使用ModelScope下載模型

文心大模型一覽表https://www.modelscope.cn/models?name=PaddlePaddle/ERNIE-4.5-Paddle&page=1&tabKey=task注:大家可以訪問這個地址查看模型列表,下載自己需要的模型。

  • 安裝ModelScope
pip install modelscope
  • 下載文心大模型

? ? ? ? 本次教程使用到如下兩個模型,通過命令分別下載:

????????ERNIE-4.5-21B-A3B-Paddle

????????ERNIE-4.5-0.3B-Paddle

modelscope download --model PaddlePaddle/ERNIE-4.5-21B-A3B-Paddle
modelscope download --model PaddlePaddle/ERNIE-4.5-0.3B-Paddle

????????下載的模型,默認保存在如下圖所示目錄:

????????注:21B模型較大,請耐心等待。(距離成功僅一步之遙啦!按耐住激動的心情哦!)

  • 移動模型到指定目錄

? ? ? ? 請將兩個模型移動至目錄??/opt/llm-ernie/baidu??,如下圖所示

?

2、部署ERNIE-4.5-21B-A3B-Paddle

(1)切換到目錄?/opt/llm-ernie/

cd /opt/llm-ernie/

(2)部署模型

python -m fastdeploy.entrypoints.openai.api_server \--model baidu/ERNIE-4.5-21B-A3B-Paddle \--port 8180 \--metrics-port 8181 \--engine-worker-queue-port 8182 \--max-model-len 32768 \--quantization 'wint4' \--max-num-seqs 32

部署成功后,如下圖所示:

(3)通過REST接口,調用模型

curl -X POST "http://172.16.3.17:8180/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{"messages": [{"role": "user", "content": "你是誰?"}]
}'

模型返回結果,如下圖所示:

3、部署ERNIE-4.5-0.3B-Paddle

文心4.5開源的10個模型,部署方式是一致的,只有一些參數差異而已。上面的會了,其它的就可以依葫蘆畫瓢嘍!O(∩_∩)O

(1)切換到目錄?/opt/llm-ernie/

cd /opt/llm-ernie/

(2)部署模型

python -m fastdeploy.entrypoints.openai.api_server \--model baidu/ERNIE-4.5-0.3B-Paddle \--port 8180 \--metrics-port 8181 \--engine-worker-queue-port 8182 \--max-model-len 32768 \--max-num-seqs 32

(3)通過REST接口,調用模型

? ? ? ? 我們用同一個問題,問下0.3B模型,看它回答是否有何不同呢。

curl -X POST "http://172.16.3.17:8180/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{"messages": [{"role": "user", "content": "你是誰?"}]
}'

????????模型返回結果,如下圖所示:

? ? ? ? 注:0.3B對同一個問題,回答每次不一樣,創造性思維比較活躍。

五、總結

文心大模型本地化部署呈現出顯著優勢:其響應速度令人印象深刻,相較此前部署的DeepSeek模型實現性能躍升。依托百度官方推出的FastDeploy大模型部署工具,企業可快速實現大模型工業化落地,部署流程兼具高效性與穩定性,為AI工程化實踐提供了標準化解決方案。

本次分享結束,是不是 So so Easy O(∩_∩)O? 感興趣的小伙伴們,趕快動手試試吧!

Enjoy It!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/89951.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/89951.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/89951.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【筆記】PyCharm 2025.2 EAP 創建 Poetry 和 Hatch 環境的踩坑實錄與反饋

https://youtrack.jetbrains.com/issue/PY-82407/Incorrect-Python-Version-and-Virtual-Environment-Path-When-Creating-Poetry-and-Hatch-Environments-via-GUI-in-PyCharm-2025.2-EAP 在 Python 開發的道路上,PyCharm 一直是我們信賴的開發利器。然而&#xff0…

ASP.NET Web Pages 安裝使用教程

一、ASP.NET Web Pages 簡介 ASP.NET Web Pages 是微軟推出的一種輕量級 Web 開發框架,適合快速開發動態網站。它使用 Razor 語法,可以將 HTML 與 C# 或 VB.NET 無縫融合,特別適合初學者和小型項目。 二、Web Pages 與 MVC 的區別 特性Web …

基于 ethers.js 的區塊鏈事件處理與錢包管理

幣圈工具箱 bqbot.cn 月訪問量達90whttps://bqbot.cn/jms.html (在線版地址) Event事件 檢索事件 const { ethers } require("hardhat"); async function SearchEvent() {try {const provider new ethers.JsonRpcProvider("http://1…

SpringBoot系列—入門

目錄 1 第一個SpringBoot程序 1.1 創建SpringBoot項目 1.2 選擇SpringBoot版本和必要依賴 1.3 項目目錄結構 1.4 編寫Hello World代碼 1.5 運行程序 1.6 不需要IDEA也能創建SpringBoot程序 1.7 部署程序 1.8 pom.xml依賴問題 1.9 無Maven選項問題 1.10 SpringBoot版…

你的Prompt還有很大提升

與AI協作,Prompt(提示詞)是溝通的橋梁。一個優秀的Prompt能讓AI的輸出事半功倍,而一個模糊的Prompt則可能導致南轅北轍的結果。如果你覺得AI的回答不夠精準、缺乏深度,或者總帶著一股“AI味”,那很可能是你…

3、Configuring Topics

如果您在應用程序上下文中定義了KafkaAdmin bean,它可以自動向代理添加主題。為此,您可以將每個主題的NewTopicBean添加到應用程序上下文中。2.3版本引入了一個新的類TopicBuilder,使創建此類bean更加方便。以下示例顯示了如何執行此操作&…

FastAPI+React19開發ERP系統實戰第04期

一、效果預覽 1.1 首頁 1.2 首頁暗黑模式 1.3 登錄頁 1.4 登錄頁暗黑模式 二、搭建React開發環境 2.1 項目依賴 package.json {"name": "erp-web","version": "1.0.0","description": "ERP系統前端 - React 19&quo…

數據庫|了解達夢數據庫并做安裝前的準備

哈嘍,你好啊,我是雷工! 你都用過哪些數據庫? 使用過的數據庫中覺得哪個數據庫最好用? 你使用過達夢數據庫嗎? 最近在做的一個SCADA項目,要求信創版本,其中數據庫也要使用信創目錄…

Java驅動AI革命:Spring AI八篇進階指南——從架構基礎到企業級智能系統實戰

系列文章目錄 提示:下面列出了整個系列的完整目錄,建議收藏本篇作為總覽入口:本人將在7月份更新完畢 第一篇:Spring AI 概述與架構設計 第二篇:Spring AI 基本組件詳解——ChatClient、Prompt、Memory 第三篇&#x…

hysAnalyser --- 支持菁彩視聽雙Vivid媒體信息解析

摘要 本文主要介紹 hysAnalyser 支持HDR Vivid格式的分析案例,滿足用戶分析HDR vivid 和 Audio Vivid格式的需要。 現將 hysAnalyser 新版本(v1.1.000)發布給網友使用,希望能幫助到更多音視頻開發的愛好者。使用過程中,若遇到問題請您通過 G…

C++中NULL等于啥

文章目錄 **一、`NULL` 的標準定義****二、常見實現方式**1. **定義為整數 `0`**2. **定義為 `0L` 或 `(void*)0`**(較少見)**三、與C語言的關鍵區別****四、`NULL` 在C++中的問題**1. **重載函數匹配歧義**2. **模板參數推導錯誤****五、C++11+ 的替代方案:`nullptr`****六…

pyhton基礎【20】面向對象進階一

目錄 一.進階 類方法和靜態方法 屬性(Properties) 繼承和多態 抽象基類(Abstract Base Classes - ABCs) 魔術方法(Magic Methods) 組合和聚合 使用場景 二.私有屬性 實現對數據的隱藏 設置私有屬性 添加額外對屬性操作的方法 三.私有方法 實現對方法的隱藏 直接…

滲透信息收集- Web應用漏洞與指紋信息收集以及情報收集

目錄 1. 整體流程與目標概述 2. 常用工具及其用途 2.1 掃描與枚舉工具 2.2 情報與數據聚合工具 2.3 流量攔截與手工驗證工具 3. 詳細技術手法與步驟 3.1 準備階段 3.2 主動掃描與指紋識別 3.3 數據交叉驗證與漏洞確認 3.4 進一步滲透與隱蔽操作 4. 實際工作經驗與注…

ASP.NET代碼審計 MVC架構 SQL注入漏洞n

接口路由 /Maintenance/GetMaintenanceList MaintenanceController.cs代碼 Maintenance 控制器里面的 GetMaintenanceList 方法 接收參數 id 傳進 MaintenanceManager.GetMaintenanceList 方法調用 MaintenanceManager.cs代碼 這里 id 和 faultId 不一樣是不影響的 C# 按順序匹…

Python入門Day4

Python中數據的常用操作 數據拷貝 根據以下代碼可以看出l1和l2實際上都是對于數據的引用,當l1被改變了,l2也會發生同樣的改變,l2 l1只是將l2指向了l1所指向的地址。 >>> l1 [1,2,[3,4],[5,6]] >>> l2 l1 >>>…

計算機網絡中的常用表項梳理

核心表項對比 表項 全稱 工作層級 主要功能 涉及設備 典型生命周期 MAC表 媒體訪問控制表 數據鏈路層(二層) Mac地址和端口關系 交換機、網橋 動態學習 FDB表 轉發數據庫 (Forwarding DataBase) 數據鏈路層&#xf…

百度輪崗:任命新CFO,崔珊珊退居業務二線

文 | 大力財經2025 年 7 月 1 日,百度組織再次變革,崔珊珊退居二線引發的行業關注。百度創始人李彥宏發布的內部信,宣布的新一輪組織調整里,崔珊珊退居二線這一變動,格外引人矚目。崔珊珊,這位在百度人力資…

TAMPER-RTC(STM32F103) 引腳說明

我來查看ST官方手冊中關于TAMPER-RTC引腳的具體說明。 Ran tool Ran tool Ran tool Read file: doc/STM32F103VGT6/STM32F103VGT6_specification.txt Read file: doc/STM32F103VGT6/STM32F103VGT6_specification.txt Ran tool Read file: doc/STM32F103VGT6/STM32F103VGT6_spec…

BUUCTF在線評測-練習場-WebCTF習題[極客大挑戰 2019]HardSQL1-flag獲取、解析

解題思路 打開靶場、熟悉的感覺 上次是過濾了很多字符,用了雙寫繞過進行注入即可,這次進階了難度 先老規矩判斷下閉合 11 123 報錯提示 You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version…

MyBatis動態SQL進階:復雜查詢與性能優化實戰

引言 在復雜業務場景中&#xff0c;SQL查詢往往需要動態拼接條件、復用代碼片段&#xff0c;并支持批量操作。MyBatis的動態SQL功能提供了強大的解決方案&#xff0c;本文將深入解析<choose>條件分支、<sql>片段復用、批量操作優化等核心技巧&#xff0c;助你寫出高…