paddle批量预测和多线程预测？
收藏
在调用paddle的CAPI的时候，如果有300个样本，现在有两种方式预测：
(A) 将300个样本平均拆分成3份，然后用3个线程（每个线程负责100个样本）进行批量预测
(B)只用一个线程对300个样本进行批量预测。
请问A、B哪种方式耗时比较低？一般地做法是使用哪种方式？
我的理解，既然paddle中对矩阵运算做了优化，那么批量预测就够了。没有必要用多线程吧？
2
收藏
请登录后评论
单线程下，BatchSize越大效率越高，但是矩阵优化也只能用一个CPU核心
如果有多个CPU核心的话，也可以多线程。