TensorRT的安装与使用

要开始使用TensorRT，首先需要确保已经安装了CUDA和CUDNN。然后，从NVIDIA官方网站下载与主机CUDA版本相适配的TensorRT压缩包。以CUDA版本为10.2为例，选择适配CUDA 10.2的TensorRT的tar包。然后解压这个压缩包，并设置环境变量指向解压后的目录。接下来，执行以下命令安装并测试TensorRT：

1. 安装C++版本的TensorRT：进入TensorRT的tar包目录，执行解压命令（如tar -zxvf TensorRT-8.2.5.1.linux.x86_64-gnu.cuda-10.2.cudnn8.2.tar.gz）。然后设置环境变量：export TENSORRT_DIR=$(pwd)/TensorRT-8.2.5.1和export LD_LIBRARY_PATH=$TENSORRT_DIR/lib:$LD_LIBRARY_PATH。
2. 安装Python版本的TensorRT：使用pip install命令安装TensorRT的Python版本。例如，pip install TensorRT-8.2.5.1/python/tensorrt-8.2.5.1-cp37-none-linuxx8664.whl。然后通过执行python -c ‘import tensorrt; print(tensorrt.__version)’来验证安装是否成功。
3. 构建TensorRT模型：手动搭建模型或使用ONNX文件自动转换模型。
   以上步骤完成后，就可以开始使用TensorRT进行深度学习推理了。需要注意的是，不同版本的TensorRT可能有不同的安装步骤和环境配置要求，因此在实际使用中需要根据具体情况进行调整。