第5课飞桨模型在地平线开发板与Nvidia Jetson部署与推理
收藏
一、基于地平线开发板部署
整体模型部署流程:
整个工具链的使用:转换流程的每一步骤作用PPT介绍的都很详细
课程主要演示的内容包括BPU Runtime示例和模型转换示例两部分。
tips记录:
1.模型校验-检验模型是否能够正常在地平线板子上跑起来
校验结果
2.编译make bin结果生成了很多中间模型,虽然不用于最终推理,但可以在校准精度或者出错时进行查询使用
3.对精度速度要求严格的可以对相关参数进行更改设置
4.异构模型:模型底层拆分,一部分在CPU上运行,一部分在BPU上运行
5.模型推理的预处理、后处理操作主要是基于Opencv C++的指针操作
6.远程调试主要通过指令挂载进行,打印某些指令
二、基于Jetson Nano的部署推理
老师讲的很好,留下了深刻的印象hhhhh,很完备的博客教程!
https://blog.csdn.net/qq_45779334/article/details/118611953
tips:
1. int8数据类型的不一定所有模型都支持。
2. TnesorRT自带剪枝,使用Jetson Nano部署一定要了解这个工具。
3. Jetson板子是真的香,疯狂心动。
0
收藏
请登录后评论