第5课笔记
收藏
AI 工具链介绍:浮点定点转换工具链
使用流程建议
正确完成模型转换
1. 原始Caffe/Onnx模型有效性验证
2. 基于算子支持列表或hb_check工具,检查模型算子是否支持
3. 正确配置数据归一化、颜色序列等参数
4. 合理选择校准数据
5. 如果转换失败,则根据报错日志进行调整,或寻求地平线支持
静态性能评估
1. 基于模型转换日志,查看模型是否存在较多CPU算子,及模型分段情况
2. 基于模型转换生成的静态性能文件,获取BPU部分的预估性能
3. 基于hb_perf工具,获取模型各子图的汇总预估性能
4. 若不符合预期,则进入性能优化环节
动态性能评估
1. 基于单线程串行/多线程并发场景,在板端实测异构模型性能
2. 算子粒度耗时分析
3. 若不符合预期,则进入性能优化环节
量化精度验证
1. 基于模型转换日志中的余弦相似度信息,初步判断是否存在精度问题
2. 在python端或嵌入式C++端,编写模型精度评测pipeline代码,验证模型的实际精度
3. 如不符合预期,则进入精度优化环节
0
收藏
请登录后评论