#工作記錄
我們經常會遇到明明安裝了onnxruntime-gpu或onnxruntime后,無法正常使用的情況。
一、強制重新安裝 onnxruntime-gpu 及其依賴
# 強制重新安裝 onnxruntime-gpu 及其依賴
pip install --force-reinstall --no-cache-dir onnxruntime-gpu==1.18.0 --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/
?
二、驗證onnxruntime-gpu的安裝
驗證安裝和GPU支持
并確保 GPU 支持正常工作:
# 導入 onnxruntime 模塊,不使用別名
import onnxruntime
# 打印 onnxruntime 的版本號,確保已正確安裝
print(onnxruntime.__version__)
# 導入 onnxruntime 模塊,并使用別名 'ort',方便后續調用
import onnxruntime as ort
# 檢查設備
print("Device:", ort.get_device()) # 應輸出 'GPU'
# 檢查可用的執行提供程序
providers = ort.get_available_providers()
print("Available providers:", providers) # 應包含 'CUDAExecutionProvider'
# 如果 GPU 支持正常,可以進一步測試推理
if 'CUDAExecutionProvider' in providers:print("GPU support is enabled.")
else:print("GPU support is not enabled. Please check your CUDA and cuDNN installation.")
輸出應如下:?
(Cosyvoice) PS C:\Users\love> python
Python 3.11.11 | packaged by Anaconda, Inc. | (main, Dec 11 2024, 16:34:19) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> # 導入 onnxruntime 模塊,不使用別名
>>> import onnxruntime
>>> # 打印 onnxruntime 的版本號,確保已正確安裝 >>> print(onnxruntime.__version__)
1.21.1
>>> # 導入 onnxruntime 模塊,并使用別名 'ort',方便后續調用
>>> import onnxruntime as ort
>>> # 檢查設備
>>> print("Device:", ort.get_device()) # 應輸出 'GPU'
Device: GPU
>>> # 檢查可用的執行提供程序
>>> providers = ort.get_available_providers()
>>> print("Available providers:", providers) # 應包含 'CUDAExecutionProvider'
Available providers: ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']
>>> # 如果 GPU 支持正常,可以進一步測試推理
>>> if 'CUDAExecutionProvider' in providers:
... print("GPU support is enabled.")
... else:
... print("GPU support is not enabled. Please check your CUDA and cuDNN installation.")
...
GPU support is enabled.
?
?
?