Python Yolo7:YOLOV5加速

激活环境安装测试利用python测试导出权重文件导出onxx模型导出engine模型使用TensorRT加速

激活环境

重新打开cmd并激活你的环境：conda activate <env-name>

切换到TensorRT文件夹的路径下：cd xxxxx/xxxxx/TensorRT-x.x.x.x

查看文件：dir

我们需要的是graphsurgeon， onnx-graphsurgeon， python， uff这几个文件夹下的python wheel文件

安装

安装时文件名使用tab键自动补全

a. 安装Python下whl文件cd pythondir #有多个支持python版本的轮子文件python -V # 查看python版本pip install tensorrt-xxxxxxcp当前环境下python版本.whl剩下的直接装就行了，每个文件夹就一个wheel轮子文件。

b.安装uff下的whl文件tensorflow需要的，顺手安装上。

pip install uff/uff-0.6.9-py2.py3-none-any.whl

c.安装graphsurgeon下的whl文件

pip install graphsurgeon/graphsurgeon-x.x.x-py2.py3-none-any.whl

d.安装onnx-graphsurgeon下的whl文件

pip install onnx-graphsurgeon/onnx-graphsurgeon-x.x.x-py2.py3-none-any.whl

测试

利用python测试


>python
>>>import tensorrt
>>>print(tensorrt.__version__)

Windows10 安装TensorRT使用python加速yolov5_凌十一的博客-CSDN博客_windows 安装tensorrt

安装流程是基于显卡的，选择相应的版本。版本选择流程：由显卡选驱动，由支持的驱动下载cuda,由cuda选择cuDNN和TensorRT，最后根据下载的TensorRT检查支持的cuDNN版本。了解这个流程，你的安装就的心应手了。安装tensorRT之前你必须更新Nvidia驱动和安装好相应的CUDA了 Nvidia驱动下载产品系列如果是笔记本选择带notebooks的下载类型： Game Ready 有对游戏的补丁和游戏支持 Studio驱动程序稳定质量高玩游戏的话选第一个，不玩游戏第二个，两个都能用。如果你安装了cuda和cuDNN，检查下版本吧。如果没有跳过检查步骤。 1.

https://blog.csdn.net/weixin_43356770/article/details/124222818?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3-124222818-blog-124752259.pc_relevant_aa2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3-124222818-blog-124752259.pc_relevant_aa2&utm_relevant_index=4

导出权重文件

yolov5可以通过export.py 文件导出相关模型

导出onxx模型

将 .pt转为.onnx

weights 权重文件路径

data 数据集yaml文件路径

include 要导出的模型，默认是['torchscript', 'onnx']

device 使用设备，0代表使用gpu


python export.py --weights ./runs/train/exp6/weights/best.pt --data ./data/dnf.yaml  --device 0

导出engine模型

将 .pt转为.engine ，这里我导出.engine文件失败，没有输出文件⛔⛔⛔



python export.py --weights ./runs/train/exp6/weights/best.onnx --data ./data/dnf.yaml --include engine --device 0

方式二：还是使用Tensorrt官方工具转换engine模型，需要先生成onxx模型。

将best.onnx文件放在D:\TensorRT-8.4.1.5\bin文件夹下，CMD运行，输入以下命令：

FP32预测删除--fp16参数即可


trtexec --onnx=best.onnx --saveEngine=best.engine --fp16

使用TensorRT加速

--source 预测的文件

--data 模型文件

--weights 权重文件

--device 0代表GPU



python detect.py --source data/images/ban-00050.jpg --data data/dnf.yaml --weights ./runs/train/exp6/weights/best.engine --device 0