一、安裝nvidia-container-toolkit

總之一句話：nvidia-docker和nvidia-docker2，nvidia-container-runtime 已經被英偉達迭代了，可以認為nvidia-container-toolkit是nvidia-docker和nvidia-docker2， nvidia-container-runtime 的替代品，想了解區別的可以看這篇文章：nvidia docker, nvidia docker2, nvidia container toolkits三者的區別-CSDN博客

nvidia-container-toolkit是一組軟件包，它們包括一個容器運行時庫和一些工具，可以自動配置容器來利用NVIDIA GPU。它支持不同的容器引擎，如Docker、containerd、LXC、Podman等

官方安裝過程：Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit 1.15.0 documentation

1、安裝過程匯總

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.listsudo apt-get updatesudo apt-get install -y nvidia-container-toolkit

2、重啟docker

sudo systemctl restart docker

3、測試

sudo docker run --rm --gpus all nvidia/cuda:${根據網站查詢得到} nvidia-smi# 例如
sudo docker run --rm --gpus all nvidia/cuda:11.7.1-base-ubuntu20.04 nvidia-smi

4、ubuntu系統與對應的cuda版本

doc/supported-tags.md · master · nvidia / container-images / cuda · GitLab