采用模型预测时，利用tensorRT加速，模型加载时间过长
收藏
在linux服务器上部署推理测速：CUDA_VISIBLE_DEVICES=1 python deploy/python/infer.py --model_dir=output_inference/ppyoloe_plus_crn_s_80e_coco --image_dir=/home/zhangyanguo/paddlepaddle/PaddleDetection/output/datatest --run_mode=trt_fp16 --device=gpu --run_benchmark=True
进行推理时候，加载模型需要很长时间，loadmodel这部操作应该非常耗时，加载模型大概需要2分钟，而且感觉推理速度没有输出的10ms，感觉更长时间，是哪里出问题了吗？
再windows台式机上，采用c++部署，loadmodel加载也非常耗时，下面是耗时部分，大概加载模型需要十几分钟，麻烦您帮我解答我的疑惑，万分感谢
0
收藏
请登录后评论
同问：I0513 15:41:41.531711 31604 tensorrt_subgraph_pass.cc:846] Prepare TRT engine (Optimize model structure, Select OP kernel etc). This process may cost a lot of time. 花费时间太长了，如何解决？