首先需要考虑量化模型上线的平台 平台 支持weight量化方式 支持activation量化方式 支持量化的OP ARM(Paddle-Lite) channel_wise_abs_max， abs_max moving_average_abs_max，range_abs_max conv2d, depthwise_conv2d, mul x86(MKL-DNN) abs_max moving_average_abs_max，range_abs_max conv2d, depthwise_conv2d, mul, matmul GPU(TensorRT) channel_wise_abs_max moving_average_abs_max，range_abs_max mul, conv2d, pool2d, depthwise_conv2d, elementwise_add, leaky_relu 部分层跳过量化 如果量化后精度损失较大，可以考虑跳过部分对量化敏感的计算不量化，比如最后一层或者attention计算。