要实现的目标：

1、将inference_model转换为Serving模型

2、在nvidia-docker环境下将模型服务化，要求模型运行在GPU上，模型服务提供跨语言RPC接口

3、使用java调用PaddleServing的RPC

操作步骤：

1、启动paddlepaddle/serving容器环境

nvidia-docker run -itd --net=host -v /opt:/opt registry.baidubce.com/paddlepaddle/serving:0.6.0-cuda10.2-cudnn8-devel bash

进入容器内

docker exec -it xxxxx bash

2、容器内安装PaddleServingx相关包

pip3 install -i https://mirror.baidu.com/pypi/simple paddle-serving-server-gpu==0.6.0.post102 paddle-serving-client==0.6.0 paddle-serving-app==0.6.0

pip3 install -i https://mirror.baidu.com/pypi/simple paddlepaddle-gpu==2.1.0

3、将inference模型转serving模型

python3 -m paddle_serving_client.convert --dirname inference_model --model_filename __model__ --params_filename __params__​

4、运行paddle serving，加载模型，要求paddle serving使用GPU，并且支持跨语言RPC

python3 -m paddle_serving_server.serve --model serving_server --use_multilang --gpu_ids 1

结果：

java调用成功，但是paddle_serving并没有使用GPU