首页 飞桨领航团 帖子详情
训练好的模型如何应用?这里给出四种模型部署方案
收藏
快速回复
飞桨领航团 文章AI达人创造营 2607 0
训练好的模型如何应用?这里给出四种模型部署方案
收藏
快速回复
飞桨领航团 文章AI达人创造营 2607 0

一、EdageBoard部署

百度面向嵌入式与边缘计算场景打造的嵌入式AI解决方案。携手芯片巨头,打造丰富的硬件选型,可适应多变的场景与边缘部署环境。无缝兼容百度大脑工具平台与算法模型,极大降低了项目部署门槛,轻松实现各种AI技能,适用于安防、工业、医疗、零售、教育、农业、交通等场景

EdageBoard文档:https://ai.baidu.com/ai-doc/HWCE/Yk3b86gvp

1. 模型训练及导出,得到 __model__、__param__、*.yml

2. 将__model__、__param__传到EdageBoard板子上。

3. 替换板子上已有的Demo文件中model、param。

4. 删除原build文件,新建并编译即可。

 

C++核心代码如上,基于已有的Demo即可完成简单的部署,对于Python部署,比较简单,不在此过多赘述。

二、安卓部署

PaddleLite 文档: https://paddlelite.paddlepaddle.org.cn/

1. 配置Andorid Studio环境,直播中采用Ubuntu配置相关环境,比较简单,不易出错。读者可根据实际情况在Windows中配置环境jdk、ndk等。

2. 下载PaddleLite Demo程序

3. 将paddle中导出的模型替换demo程序中模型,并修改配置文件。

4. 调试程序,运行。

三、地平线部署

地平线具有世界领先的深度学习和决策推理算法开发能力,可将算法集成在高性能、低功耗、低成本的边缘人工智能处理器及软硬平台上;同时自主设计研发了创新性的人工智能专用处理器——Brain Processing Unit( BPU ),提供设备端上软硬结合的嵌入式人工智能解决方案。

地平线文档:https://aistudio.baidu.com/aistudio/projectdetail/1818294?channelType=0&channel=0

地平线部署与EdageBoard部署大同小异,只是将模型转化为地平线硬件可解析的模型,并对模型进行量化。

1. 模型导出并转化为onnx格式。

2. 利用地平线提供工具进行onnx校验。检测模型是否支持。

3. 将onnx模型转化为地平线所支持的模型

4. 修改配置,部署调试

四、英伟达NANO部署

英伟达NANO部署也是比较简单,Paddle官方直接由现成编译好的Jetson nano预测库。

文档:https://aistudio.baidu.com/aistudio/projectdetail/2187459?channelType=0&channel=0

直播中只是演示了Python的部署,没有演示C++,读者可参考地平线及EdageBoard部署过程。

1. Jetson nano环境配置。

2. 拉取Paddle inference Demo

3. 更改模型及配置文件。

4. 重要:开启Tensor + GPU 加速

总结:

其实各个端的配置都大同小异,都是将paddle模型转化为硬件所支持的模型,而且各个模型都给出了Demo文件。一些通用模型的部署是非常简单的,但是对于某些硬件不支持个别模型的算子,这就需要自己去写,这是部署中难度所在,但这也是你的特色。

0
收藏
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户