麻烦问一下,当进程数比较多的时候,tensort加速效果怎么样
这个可以查看文档看一下各个的效果对比
好的,谢谢
TensorRT可对一些子图进行优化,包括OP的横向和纵向融合,过滤冗余的OP,并为OP自动选择最优的kernel。这些操作应该与进程数无关吧。。。
在推理的时候,不管处理多少,都不影响tensort的效果吗
我感觉进程之间是相互隔离的。不过进程数多到CPU处理不过来,系统会显然变卡。
这个可以查看文档看一下各个的效果对比
好的,谢谢
TensorRT可对一些子图进行优化,包括OP的横向和纵向融合,过滤冗余的OP,并为OP自动选择最优的kernel。这些操作应该与进程数无关吧。。。
在推理的时候,不管处理多少,都不影响tensort的效果吗
我感觉进程之间是相互隔离的。不过进程数多到CPU处理不过来,系统会显然变卡。