提高GPU利用率；批量预测，每次执行，GPU利用率最多10%
收藏
执行predict_system.py时，批量图片ocr识别，但GPU的利用率最高不超过10%；
如何提高GPU使用率？
单张图片测试0.3s；50个进程同时访问，平均耗时7s
GPU能否像CPU那样，开启多进程，充分利用GPU，降低平均耗时？请问有没有什么好的解决方案？
0
收藏
请登录后评论
如果希望提高资源利用率，可以尝试使用PaddleServing部署，通过上层调度，实现检测和识别模型的并行运行，延时可能会有所增加，但是QPS也可以有效提升