paddle serving hub serving 启动后模型参数是常驻内存的么?
收藏
我尝试成倍数的调整模型宽度,预测时间变化不大。这是什么原因?
0
收藏
请登录后评论
如果参数已经驻留内存,预测时间和模型参数量有比例关系么?
还是paddle部署应用了一些优化,使得参数量对推理速度的影响被干涉了
我试验了很多次,应该可以排除网络延迟的影响。
而且hub serving我还在本机试过了,排除网络影响,请问是怎么回事?
发现数据传输占用了不少时间