同一个模型的推理耗时不稳定。
请按以下方向排查： 1）硬件资源（CPU、GPU等）是否没有他人抢占。 2）输入是否一致，某些模型推理时间跟输入有关，比如检测模型的候选框数量。 3）使用TensorRT时，初始的优化阶段比较耗时，可以通过少量数据warm up的方式解决。
请按以下方向排查： 1）硬件资源（CPU、GPU等）是否没有他人抢占。 2）输入是否一致，某些模型推理时间跟输入有关，比如检测模型的候选框数量。 3）使用TensorRT时，初始的优化阶段比较耗时，可以通过少量数据warm up的方式解决。