0、前言

在玩轉智能硬件（一）和（二）中，我們安裝好Jetson Nano系統并配置好基本環境，接下來開始搭建深度學習開發環境。

1、TensorRT安裝

1.1、TensorRT介紹

NVIDIA?TensorRT?的核心是一個C++庫，可促進在NVIDIA圖形處理單元(GPU)上進行高性能推理。 它旨在與訓練框架(如TensorFlow、Caffe、PyTorch、MXNet等)以互補的方式工作。它特別側重于在GPU上快速高效地運行已訓練的網絡，以生成結果(這一過程在不同的地方被稱為評分、檢測、回歸或推理)

一些訓練框架(如TensorFlow)集成了TensorRT，因此可以用它來加速框架內的推理。 或者，TensorRT可以用作用戶應用程序中的庫。 它包括用于從Caffe、ONNX或TensorFlow導入現有模型的解析器，以及用于以編程方式構建模型的C++和PythonAPI。

TensorRT通過組合層和優化內核選擇來優化網絡，以提高延遲、吞吐量、能效和內存消耗。 如果應用程序指定，它將額外優化網絡以更低的精度運行，從而進一步提高性能并降低內存需求。下圖顯示了定義為部分高性能推理優化器和部分運行時引擎的TensorRT。 它可以吸收在這些流行框架上訓練的神經網絡，優化神經網絡計算，生成輕量級運行時引擎(這是您唯一需要部署到生產環境中的東西)，然后它將最大化這些GPU平臺上的吞吐量、延遲和性能。

1.2、TensorRT安裝

• 基于JetPack

如果按照玩轉智能硬件（一）Jetson Nano安裝篇使用官方提供JetPack 4.4鏡像安裝操作系統后，系統已經安裝好TensorRT 7.1.3環境，使用下面指令即可查看

dpkg -l | grep TensorRT

• 自行編譯安裝

根據個人實際情況參考下面兩個文檔

• 安裝PyCuda

PyCUDA允許您從Python訪問NVIDIA的CUDA并行計算API。

配置cuda環境變量

export 

安裝

pip install 'pycuda>=2019.1.1'

2、PyTorch安裝

Nvidia提供了編譯好的PyTorch安裝包，根據自己的需要選擇合適的安裝包。

wget https://nvidia.box.com/shared/static/ncgzus5o23uck9i5oth2n8n06k340l6k.whl -O torch-1.4.0-cp36-cp36m-linux_aarch64.whl
sudo apt-get install python3-pip libopenblas-base libopenmpi-dev 
pip3 install Cython
pip3 install numpy torch-1.4.0-cp36-cp36m-linux_aarch64.whl

• 安裝torchvision

$ sudo apt-get install libjpeg-dev zlib1g-dev
$ git clone --branch v1.2 https://github.com/pytorch/vision torchvision   # see below for version of torchvision to download
$ cd torchvision
$ sudo python setup.py install    # use python3 if installing for Python 3.6
$ cd ../  # attempting to load torchvision from build dir will result in import error
$ pip install 'pillow<7' # always needed for Python 2.7, not needed torchvision v0.5.0+ with Python 3.6

注意：torchvision版本需要與PyTorch版本對應

• 驗證安裝

import 

參考文檔：