如何配置推理时的数据精度?
收藏
在使用docker容器中的 tools/xtcl/model_tool/klx_model_tool.py 脚本进行模型推理的性能测试,如下:
python3 klx_model_tool.py --framework onnx --model_path ./onnx/vgg16-torchvision-op13-fp32-N.onnx --tvm_prefix vgg16 --xpu_device_type xpu2 --performance_test --correctness_test --eval_round 500 --json_path ./onnx/vgg16.json
脚本在执行过程中会生成random data进行性能测试:
================ Correctness Results ================
model:vgg16 output_max_abs_err:
output0 error_max:0.0015171170234680176 index:602 cpu:0.8993552923202515 xpu:0.8978381752967834
================ Performance Results ================
model:vgg16 latency(s):0.06797262001037598 fps:14.711806016118706
想要请教一下这个FPS是在什么精度下的性能呢?如果我希望进行FP16的测试,应该如何配置,求大佬解惑。。
0
收藏
请登录后评论
顶