現象：
? ? cuda_fp8.h錯誤
原因：
? ? ?CUDA Toolkit 小于11.8,會報fp8錯誤，因此是cuda工具版本太低。通過nvcc --version查看
CUDA Toolkit 是 NVIDIA 提供的一套 用于開發、優化和運行基于 CUDA 的 GPU 加速應用程序的工具集合。它的核心作用是讓開發者能夠利用 NVIDIA GPU 的強大并行計算能力來加速計算密集型任務。
一、CUDA Toolkit 的主要作用
1. 提供編程接口（API）
CUDA Toolkit 包含了 CUDA C/C++ 編譯器（nvcc），它允許你編寫、編譯和運行在 GPU 上執行的代碼。
提供 CUDA Runtime API 和 Driver API，使你可以控制 GPU 設備、分配內存、啟動內核等。
2. 支持深度學習框架
大多數深度學習框架（如 PyTorch、TensorFlow、JAX）底層依賴 CUDA 來實現 GPU 加速。
它們會使用 CUDA Toolkit 中的組件（如 cuBLAS、cuDNN、cuFFT 等）進行高效矩陣運算、卷積操作等。
?3. 提供高性能數學庫
包括：
cuBLAS：GPU 加速的基礎線性代數庫
cuFFT：快速傅里葉變換
cuRAND：隨機數生成
cuSPARSE / cuSOLVER：稀疏矩陣與求解庫
這些庫已經被廣泛集成到科學計算、AI、圖像處理等領域中。
4. 調試與性能分析工具
Nsight Systems 和 Nsight Compute：可視化地分析 GPU 內核性能、資源占用、瓶頸等。
cuda-gdb：用于調試 CUDA 程序的 GDB 擴展。
可幫助開發者優化程序，提高 GPU 利用率。
5. 兼容不同版本的 GPU 驅動
CUDA Toolkit 通常會對應一個或多個 NVIDIA 驅動版本范圍，確保你的系統能正確支持目標 GPU 架構（如 Turing、Ampere、Hopper）。
解決方案：
第一步下載工具
去CUDA Toolkit 12.9 Downloads | NVIDIA Developer下載高版本，本次下載了
wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda_12.9.0_575.51.03_linux.run
sudo sh cuda_12.9.0_575.51.03_linux.run第二步設置環境變量
vim /etc/profile
export PATH=/usr/local/cuda-12.9/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.9/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
source /etc/profile第三步設驗證
nvcc --version
不同地方的cuda版本說明：
- ? ? nvidia-smi顯示的CUDA版本是12.2：這個命令顯示的是驅動程序支持的最高CUDA版本。也就是說，安裝在系統上的NVIDIA驅動程序能夠支持CUDA 12.2及以下版本的應用程序。
- ? ? ?nvcc --version顯示的是CUDA 11.5：nvcc是CUDA編譯器驅動程序，它的版本號反映了實際安裝的CUDA Toolkit版本。這里表明你的系統中安裝了CUDA 11.5版本的Toolkit。
- ? ? ?通過Python腳本打印PyTorch使用的CUDA版本為12.4：這表示你當前使用的PyTorch構建版本與CUDA 12.4兼容。然而，這并不直接反映系統上實際安裝的CUDA Toolkit版本，而是表明該PyTorch版本可以與CUDA 12.4一起工作（如果相應的CUDA Toolkit已安裝）。
