every blog every motto: You can do more than you think.
https://blog.csdn.net/weixin_39190382?type=blog

0. 前言

onnxruntime-gpu無法使用

1. 正文

CUDA版本：12.1

nvcc -V

CUDNN的版本

cat /usr/include/cudnn_version.h |grep CUDNN_MAJOR -A 2

說明: 可能剛安裝了8.9.2沒有重啟，暫時還每顯示

根據這個鏈接https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html

原本安裝的是1.17，但是onnxruntime-gpu版本無法使用，

本來想把CUDA12.1升級為12.2（還每來得急做）；CUDNN降級為8.9.2（下載了cudnn，復制了文件到對應的文件夾中，可能由于筆者沒有重新啟動，所以上面的版本查看還是之前的）

無意中看到后面參考文獻中的文章，說不能使用pip install 安裝onnxruntime和onnxruntime-gpu，故卸載這兩個，然后

pip install onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/

安裝完以后gpu可以用了。

參考

1. https://blog.csdn.net/weixin_44212848/article/details/136867538#:~:text=%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%EF%BC%9A%20%E6%A0%B9%E6%8D%AE%E6%8A%A5%E9%94%99%E6%8F%90%E4%BE%9B%E7%9A%84%E9%93%BE%E6%8E%A5%20https%3A%2F%2Fonnxruntime.ai%2Fdocs%2Fexecution-providers%2F%20CUDA%20-ExecutionProvider.html%20%E6%9F%A5%E6%89%BE%E5%AF%B9%E5%BA%94%E7%9A%84%20ONNX%20Runtime%EF%BC%8CCUDA,%E7%89%88%E6%9C%AC%EF%BC%8C%E6%88%91%E8%BF%99%E9%87%8C%E6%98%AF%20ONNX%20Runtime%201.17%EF%BC%8CCUDA%2012.2%20%E5%92%8C%20cuDNN%208.9.2