建議仔細讀一讀NVIDIA官方出的安裝教程,里面有windows、linux等安裝教程,非常詳細,這里再做一下簡要總結。
TensorRT主要有三種安裝模式、五種安裝方式
毫無疑問,在windows系統中,我們只能選擇zip安裝。
安裝tensorRT之前確保電腦安裝好了英偉達顯卡驅動、cudaToolkit,cuDNN的話不是必須得可以不用安裝(官方多次提到目前的TensorRT對cuDNN的依賴很少了)
我的電腦CUDA版本為11.7? cuDNN版本為8.7.0,我這里選擇安裝TensorRT 8.x ,進入官網下載頁面(需要登錄)
我這里選擇安裝TensorRT 8.6 GA for x86_64 Architecture。注意ARM架構的不一樣,需要進入?頁面仔細確認到底應該下載哪個文件。特別注意,要與自己本地電腦的CUDA版本對應
?
下載zip文件之后,解壓,我這里解壓到?C:\Program Files\TensorRT-8.6.1.6 ,解壓后的文件目錄如下圖所示:
?下面重點來了,按照官方的說法,我們有兩種方式可選
第一種方式:把 C:\Program Files\TensorRT-8.6.1.6\lib文件中所有的DLL文件復制到CUDA的安裝目錄下bin目錄下(比如:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin),不過我并不推薦這種方式,會使文件結構混亂。
第二種方式:直接配置TensorRT的環境變量。具體做法是把?C:\Program Files\TensorRT-8.6.1.6\lib 目錄添加到系統環境變量中
之后我們就可以在虛擬環境中安裝TensorRT了,比如我的anaconda中有一個torch_work虛擬環境(python==3.10)。
下面為該虛擬環境安裝TensorRT,首先命令行切換到 C:\Program Files\TensorRT-8.6.1.6\python 目錄下并切換到torch_work虛擬環境中
選擇跟虛擬環境匹配的python版本,我這里選擇?full installation 的安裝模式?
然后執行pip安裝命令
?之后我們還需要安裝?uff,?graphsurgeon,?onnx_graphsurgeon 這三個python包,它們就在解壓目錄下
?
?我們切換到對應的目錄,pip安裝
?至此,在conda環境下安裝tensorRT就全部完成了,接下來驗證一下是否安裝成功。
進入該虛擬環境中導入 tensorrt 包,如果控制臺沒有報錯,即為安裝成功,接下來就可以在conda虛擬環境下使用?tensorrt。
?