首页 Paddle Serving 帖子详情
paddle serving hub serving 启动后模型参数是常驻内存的么?
收藏
快速回复
Paddle Serving 问答Serving 510 5
paddle serving hub serving 启动后模型参数是常驻内存的么?
收藏
快速回复
Paddle Serving 问答Serving 510 5

我尝试成倍数的调整模型宽度,预测时间变化不大。这是什么原因?

0
收藏
回复
全部评论(5)
时间顺序
FutureSI
#2 回复于2021-09

如果参数已经驻留内存,预测时间和模型参数量有比例关系么?

0
回复
FutureSI
#3 回复于2021-09

还是paddle部署应用了一些优化,使得参数量对推理速度的影响被干涉了

0
回复
FutureSI
#4 回复于2021-09

我试验了很多次,应该可以排除网络延迟的影响。

0
回复
FutureSI
#5 回复于2021-09

而且hub serving我还在本机试过了,排除网络影响,请问是怎么回事?

0
回复
FutureSI
#6 回复于2021-09

发现数据传输占用了不少时间

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户