使用C++推理库进行GPU推理会降低模型运行显存么
收藏
python推理库和C++推理库进行GPUTensorRT推理时模型显存相差不大
0
收藏
请登录后评论
相比训练时，好像预测的时候都不怎么关注显存
推理主要看模型大小和预测速度
预测阶段由于只需要进行前向计算，不需要保留后向传播计算的参数梯度等等，资源消耗会小的多。