首页 Paddle Inference 帖子详情
TensorRT 子图预测是否支持 FP16?
收藏
快速回复
Paddle Inference 问答推理 1119 1
TensorRT 子图预测是否支持 FP16?
收藏
快速回复
Paddle Inference 问答推理 1119 1

原生 TensorRT 在很早之前的版本(如 TensorRT 4)中已经支持 FP16 预测,但是由于厂内普遍用的 GPU 不支持 FP16 预测,所以也基本没有应用。然而当前厂内厂外一些新的 GPU 都开始支持 FP16,相比于 INT8,FP16 的损失更小、更可控,是否能够提供对 FP16 预测的支持?

如下为 T4 GPU 的 FP16 算力:

  1. T4 的 CUDA Core:
    1. FP32:8.1 TFLOPs
    2. FP16:16.2 TFLOPs
  2. T4 的 Tensor Core:
    1. FP16:65 TFLOPs

在 T4 上使用 TensorRT6 + ResNet101 做了简单实验,FP16 的吞吐至少可以达到 FP32 的 4-5 倍。

0
收藏
回复
全部评论(1)
时间顺序
Zhaolong Xing
#2 回复于2019-11
0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户