首页 Paddle Serving 帖子详情
TensorRT加速 已解决
收藏
快速回复
Paddle Serving 问答部署Serving 1973 5
TensorRT加速 已解决
收藏
快速回复
Paddle Serving 问答部署Serving 1973 5

麻烦问一下,当进程数比较多的时候,tensort加速效果怎么样

三岁
已解决
2# 回复于2021-12
这个可以查看文档看一下各个的效果对比
0
收藏
回复
全部评论(5)
时间顺序
三岁
#2 回复于2021-12

这个可以查看文档看一下各个的效果对比

0
回复
Dream拒杰
#3 回复于2021-12
三岁 #2
这个可以查看文档看一下各个的效果对比

好的,谢谢

0
回复
DeepGeGe
#4 回复于2021-12

TensorRT可对一些子图进行优化,包括OP的横向和纵向融合,过滤冗余的OP,并为OP自动选择最优的kernel。这些操作应该与进程数无关吧。。。

0
回复
Dream拒杰
#5 回复于2021-12
TensorRT可对一些子图进行优化,包括OP的横向和纵向融合,过滤冗余的OP,并为OP自动选择最优的kernel。这些操作应该与进程数无关吧。。。

在推理的时候,不管处理多少,都不影响tensort的效果吗

 

0
回复
DeepGeGe
#6 回复于2021-12
在推理的时候,不管处理多少,都不影响tensort的效果吗  

我感觉进程之间是相互隔离的。不过进程数多到CPU处理不过来,系统会显然变卡。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户