目錄
1.4070nvidia驅動安裝
2.CUDA安裝
3.docker安裝
?4.docker的GPU支持
1.4070nvidia驅動安裝
首先從軟件源獲取最新的軟件包信息,然后升級一下安裝好的軟件包
#從軟件源獲取最新的軟件包信息
apt update -y
#將已安裝的軟件包升級到最新版本
apt upgrade -y
然后安裝一下顯卡驅動
#自動識別并安裝適合你系統硬件的驅動程序,像顯卡驅動就可以通過它來安裝
ubuntu-drivers autoinstall
從圖中也可以看出自動下載安裝nvidia顯卡驅動的575版本(當前最新就是575)
驅動安裝后記得重啟,然后通過命令查看驅動是否已經安裝
#顯示nvidia顯卡的狀態信息,也可用于檢測顯卡驅動是否安裝
nvidia-smi
2.CUDA安裝
老規矩還是到CUDA官網
CUDA Toolkit 12.9 Update 1 Downloads | NVIDIA Developer
上面的頁面進去默認就是最新版本的CUDA,根據自己的系統版本進行選擇(因為現在還有25.04的版本我就選了24.04版本);下面的安裝方式有三種,大家任意一種選擇一種即可,我這里選的是deb(local)也就是本地安裝
選擇好系統版本以及安裝方式后,下面會直接給你命令,按照敲即可完成安裝(這里用到了wget命令,如果沒有,請使用 apt install -y wget 進行安裝)
安裝流程截圖如下
到這一步我們已經完成了CUDA的安裝,現在還需要設置一下環境變量,編輯 .bashrc 文件;編輯可以用vi可以用nano
#vi編輯文件
vi ~/.bashrc
#nano編輯文件
#vi命令安裝
apt install -y vim
#nano命名安裝
apt install -y nano
?添加內容如下:
export PATH=$PATH:/usr/local/cuda/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda/lib64
編輯保存好之后,使用source命令讓環境變量修改生效
#讓環境變量修改生效
source ~/.bashrc
然后我們利用nvcc -V命令來查看CUDA是否被正常安裝
#查看CUDA版本
nvcc -V
3.docker安裝
docker安裝直接安裝阿里云鏡像站的步驟來執行即可,網址為:
docker-ce鏡像_docker-ce下載地址_docker-ce安裝教程-阿里巴巴開源鏡像站https://developer.aliyun.com/mirror/docker-ce
執行截圖如下
通過命令查看docker的版本,能夠顯示說明docker被正常安裝
#查看docker版本
docker -v
?4.docker的GPU支持
本來是想用docker拉起ollama跑一個模型給大家看的,但是現有加速器下一個ollama太慢了,就只給大家貼給docker添加GPU支持的流程
首先要安裝nvidia容器工具包,先配置存儲庫,命令如下
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
然后安裝nvidia容器工具包,命令為
apt-get install -y nvidia-container-toolkit
配置docker可以調用nvidia顯卡
#配置docker可以調用nvidia顯卡
nvidia-ctk runtime configure --runtime=docker
圖上兩種輸出都是正常的,第一個是daemon.json文件不存在,第二個是daemon.json文件存在
重啟docker
#重啟docker
systemctl restart docker
這樣配置完畢我們在創建容器的時候就可以使用--gpus命令了