首页 飞桨领航团 帖子详情
第5课笔记
收藏
快速回复
飞桨领航团 AI达人创造营文章 1050 0
第5课笔记
收藏
快速回复
飞桨领航团 AI达人创造营文章 1050 0

AI 工具链介绍:浮点定点转换工具链

使用流程建议

正确完成模型转换

1. 原始Caffe/Onnx模型有效性验证

2. 基于算子支持列表或hb_check工具,检查模型算子是否支持

3. 正确配置数据归一化、颜色序列等参数

4. 合理选择校准数据

5. 如果转换失败,则根据报错日志进行调整,或寻求地平线支持

静态性能评估

1. 基于模型转换日志,查看模型是否存在较多CPU算子,及模型分段情况

2. 基于模型转换生成的静态性能文件,获取BPU部分的预估性能

3. 基于hb_perf工具,获取模型各子图的汇总预估性能

4. 若不符合预期,则进入性能优化环节

动态性能评估

1. 基于单线程串行/多线程并发场景,在板端实测异构模型性能

2. 算子粒度耗时分析

3. 若不符合预期,则进入性能优化环节

量化精度验证

1. 基于模型转换日志中的余弦相似度信息,初步判断是否存在精度问题

2. 在python端或嵌入式C++端,编写模型精度评测pipeline代码,验证模型的实际精度

3. 如不符合预期,则进入精度优化环节

0
收藏
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户