首页 Paddle Inference 帖子详情
如何配置推理时的数据精度?
收藏
快速回复
Paddle Inference 问答推理部署高性能 221 1
如何配置推理时的数据精度?
收藏
快速回复
Paddle Inference 问答推理部署高性能 221 1

在使用docker容器中的 tools/xtcl/model_tool/klx_model_tool.py 脚本进行模型推理的性能测试,如下:

python3 klx_model_tool.py --framework onnx --model_path ./onnx/vgg16-torchvision-op13-fp32-N.onnx --tvm_prefix vgg16 --xpu_device_type xpu2 --performance_test --correctness_test --eval_round 500 --json_path ./onnx/vgg16.json

脚本在执行过程中会生成random data进行性能测试:

================ Correctness Results ================
model:vgg16 output_max_abs_err:
output0 error_max:0.0015171170234680176 index:602 cpu:0.8993552923202515 xpu:0.8978381752967834
================ Performance Results ================
model:vgg16 latency(s):0.06797262001037598 fps:14.711806016118706

 

想要请教一下这个FPS是在什么精度下的性能呢?如果我希望进行FP16的测试,应该如何配置,求大佬解惑。。

 

0
收藏
回复
全部评论(1)
时间顺序
天空城外人
#2 回复于2022-11

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户