Ubuntu22.0.4安裝PaddleNLP
- 環境說明
- 安裝底層框架Paddle
- 安裝PddleNLP
- 1. pip安裝
- 2. 驗證安裝
- 3. 最后
- 問題集錦
環境說明
1. miniconda 25.5.1
2. python 3.12.11
3. pip 25.1
4. nvidia 570.144
5. cuda 12.8
**注意:**安裝過程可能遇到的一些問題,參考末尾的問題集錦
安裝底層框架Paddle
安裝PaddleNLP之前要先安裝PaddlePaddle,參考PaddlePaddle安裝文檔
注意: PaddlePadedle-gpu版本是單卡運行的,多卡的話建議用docker安裝并指定GPU運行即可。
- 單卡下用miniconda安裝PaddlePaddle-gpu
1.1 創建虛擬環境
1.2. pip 安裝# 創建虛擬環境,指定python版本3.12$ conda create -n paddlenlp python=3.12# 激活環境$ conda activate paddlenlp
#在paddlenlp環境里,先安裝paddlepaddle-gpu V3.0.0版本,我的系統cuda是12+,參考官方文檔選擇了cu126 $ python -m pip install paddlepaddle-gpu==3.0.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/
- 多卡下docker安裝PaddlePadde-gpu
2.1 下載鏡像$ docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.0.0-gpu-cuda12.6-cudnn9.5-trt10.5 # 啟動鏡像,多卡的話指定gpu下標,若是單卡直接使用--gpus all $ docker run --gpus 'device=1' --name paddle -v ./paddle:/paddle --network=host -it ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.0.0-gpu-cuda12.6-cudnn9.5-trt10.5
- 安裝驗證
用python驗證,使用docker安裝的需要進入容器,在容器里面再進入python驗證,安裝PaddleNLP時也是一樣的認證方式
>>> import paddle>>> paddle.utils.run_check()
- 安裝驗證
安裝PddleNLP
PaddlePaddle是docker安裝的,需要進入容器,在容器里面執行pip安裝
1. pip安裝
$ python -m pip install --upgrade paddlenlp -i https://pypi.tuna.tsinghua.edu.cn/simple
2. 驗證安裝
>> import paddlenlp
>> print(paddlenlp.__version__)
3.0.0b4
3. 最后
本文的那個最終安裝相關版本如下圖所示:
問題集錦
Q1: UserWarning: No ccache found. Please be aware that recompiling all source files may be required. You can download and install ccache from: https://github.com/ccache/ccache/blob/master/doc/INSTALL.md
A1:安裝conda install -c conda -forge ccache
Q2:AssertionError: Could not find “cmake” executable!
A2:conda install cmake
Q3:ImportError: cannot import name ‘download’ from ‘aistudio_sdk.hub’
A3:查看aistudio_sdk版本:
pip list | grep aistudio_sdk
本示例最先版本是0.3.0,但是aistudio_sdk在0.2.6版本之后API有變動,所以降其版本
Q4:docker安裝時可能會出現ERROR: pip’s dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. paddlepaddle-gpu 3.0.0 requires nvidia-cublas-cu12==12.6.4.1;platform_system == “Linux” and platform_machine == “x86_64”, which is not installed **N(多個類似錯誤)
A4:用pip命令單獨安裝這些缺失的包
Q5:UserWarning: Setuptools is replacing distutils. Support for replacing an already imported distutils is deprecated. In the future, this condition will fail.
A5:distutils將被替代,要么升級setuptools版本,要么降級到適配版本。本示例setuptools=78.1.1