1、准备预测模型

这里直接使用paddlex --export_inference 导出的模型。模型文件内容如图

2、导入相关库

from paddle.inference import Config   # AnalysisConfig的相关设置
from paddle.inference import create_predictor  # 创建PaddlePredictor


# 其他的一些辅助库
import cv2
import numpy as np
import yaml
import time
import datetime

3、设置Config，创建predictor

    # 根据预测部署的实际情况，设置Config
    config = Config()
    # 读取模型文件
    config.set_prog_file(model_file)
    config.set_params_file(params_file)
    # Config默认是使用CPU预测，若要使用GPU预测，需要手动开启，设置运行的GPU卡号和分配的初始显存。
    config.enable_use_gpu(300, 0)
    # 可以设置开启IR优化、开启内存优化。
    config.switch_ir_optim()
    config.enable_memory_optim()
    # 由于不使用tensorrt，注释相应配置
    predictor = create_predictor(config)

4、设置输入

从Predictor中获取输入的names和handle，然后设置输入数据。这里Inference官方给的linux例子，不知道什么原因运行不起来，个人觉得可能是官方例子中用的模型可能对输入的要求与我这个训练的ppyolotiny模型不一样。经过半天的调试和各种查资料，ppyolotiny训练的inferenc模型，输入这块需要进行如下的操作。具体看代码

    im_size = 608
    # 被预测图片
    img = cv2.imread('testplane/660.jpg')
    # 对预测图片进行resize和归一化处理。
    data = preprocess(img, im_size)
    # x、y轴缩放比例
    scale_factor = np.array([im_size * 1. / img.shape[0], im_size * 1. / img.shape[1]]).reshape((1, 2)).astype(
        np.float32)
    #  ？？？
    im_shape = np.array([im_size, im_size]).reshape((1, 2)).astype(np.float32)
    # 这个是predictor.get_input_names()返回的数组，需要将这三个值传进入，才能正常执行predictor.run()，没查到对应的API.....
    ims = [im_shape, data, scale_factor]

    input_names = predictor.get_input_names()
    for i, name in enumerate(input_names):
        input_tensor = predictor.get_input_handle(name)
        input_tensor.reshape(imgs[i].shape)
        input_tensor.copy_from_cpu(imgs[i].copy())

5、执行预测并输出

    # 执行Predictor
    predictor.run()
    # 获取输出
    results = []
    # 获取输出
    output_names = predictor.get_output_names()
    for i, name in enumerate(output_names):
        output_tensor = predictor.get_output_handle(name)
        output_data = output_tensor.copy_to_cpu()
        results.append(output_data)

完整的代码如下：

import numpy as np
import cv2

from paddle.inference import Config
from paddle.inference import create_predictor
import yaml


def resize(img, target_size):
    if not isinstance(img, np.ndarray):
        raise TypeError('image type is not numpy.')
    im_shape = img.shape
    im_scale_x = float(target_size) / float(im_shape[1])
    im_scale_y = float(target_size) / float(im_shape[0])
    img = cv2.resize(img, None, None, fx=im_scale_x, fy=im_scale_y)
    return img


def normalize(img, mean, std):
    img = img / 255.0
    mean = np.array(mean)[np.newaxis, np.newaxis, :]
    std = np.array(std)[np.newaxis, np.newaxis, :]
    img -= mean
    img /= std
    return img


# 图像预处理
def preprocess(img, img_size):
    mean = [0.485, 0.456, 0.406]
    std = [0.229, 0.224, 0.225]
    img = resize(img, img_size)
    img = img[:, :, ::-1].astype('float32')  # bgr -> rgb
    img = normalize(img, mean, std)
    img = img.transpose((2, 0, 1))  # hwc -> chw
    return img[np.newaxis, :]  # ??? 为什么要增加维度？


# ——————————————————————后处理函数—————————————————————————— #
def draw_bbox_image(frame, result, label_list, threshold=0.5):
    for res in result:
        cat_id, score, bbox = res[0], res[1], res[2:]
        if score < threshold:
            continue
        for i in bbox:
            int(i)
        xmin, ymin, xmax, ymax = [int(pts) for pts in bbox]
        cv2.rectangle(frame, (xmin, ymin), (xmax, ymax), (255, 0, 255), 2)
        print('category id is {}, bbox is {}'.format(cat_id, bbox))
        try:
            label_id = label_list[int(cat_id)]
            # #cv2.putText(图像, 文字, (x, y), 字体, 大小, (b, g, r), 宽度)
            cv2.putText(frame, label_id, (int(xmin + 50), int(ymin - 2)), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 0, 0), 2)
            cv2.putText(frame, str(round(score, 2)), (int(xmin), int(ymin - 2)), cv2.FONT_HERSHEY_SIMPLEX, 0.5,
                        (0, 255, 0), 2)
        except KeyError:
            pass



if __name__ == '__main__':
    # 加载inference模型文件
    config = Config('inference_model/ppyolotiny/model.pdmodel','inference_model/ppyolotiny/model.pdiparams')
    config.enable_use_gpu(500, 0)
    config.switch_ir_optim()
    config.enable_memory_optim()
    # 加载yml文件，获取label_list，用于根据label_id获取label名称
    infer_cfg = open('inference_model/ppyolotiny/model.yml')
    data = infer_cfg.read()
    yaml_reader = yaml.load(data)
    label_list = yaml_reader['_Attributes']["labels"]
    print(label_list)

    # Create predictor
    predictor = create_predictor(config)

    # Set input
    img = cv2.imread('testplane/660.jpg')
    im_size = 608
    data = preprocess(img, im_size)

    scale_factor = np.array([im_size * 1. / img.shape[0], im_size * 1. / img.shape[1]]).reshape((1, 2)).astype(
        np.float32)

    im_shape = np.array([im_size, im_size]).reshape((1, 2)).astype(np.float32)

    ims = [im_shape, data, scale_factor]
    input_names = predictor.get_input_names()
    for i, name in enumerate(input_names):
        input_tensor = predictor.get_input_handle(name)
        input_tensor.reshape(ims[i].shape)
        input_tensor.copy_from_cpu(ims[i].copy())
    # 执行Predictor
    predictor.run()
    # 获取输出
    results = []
    # 获取输出
    output_names = predictor.get_output_names()
    for i, name in enumerate(output_names):
        output_tensor = predictor.get_output_handle(name)
        output_data = output_tensor.copy_to_cpu()
        results.append(output_data)

    draw_bbox_image(img, results[0], label_list, threshold=0.5)
    cv2.imshow("frame", img)
    cv2.waitKey()

总结一下过程中遇到的问题：

1）、在pycharm的工程中引入from paddle.inference import create_predictor，create_predictor会显示红下划线，可以忽略。

2）、如果不显示标签的名称，yml文件实际是可以不引入的。

3）、不知道是不是paddlex的版本问题，如果在config中直接配置model_dir，是不行的。

4）、如果没用安装tensorrt，config中的tensorrt必须注释掉。

5）、设置输入时，建议调试模式看看input_names = predictor.get_input_names()中，input_names到底是什么，我花了半天时间都是在解决这个输入的问题，尽管最终还是没搞清楚，希望有大佬解释一下，或者给个api地址我学习一下，不胜感激。

6）还是关于输入ims = [im_shape, data, scale_factor]，这里面的im_shape为什么w和h是一样的？data是预处理后的图片，已经进行了缩放，为什么还要给scale_factor，有什么用？

7）、输出的results中，是多个预测框吗？看调试好像有其他的数据。

希望官方大佬和各位达人给点指导，先感谢了！！！