质检主题

【5月13日，周三，医药物流药盒检测业务趋势及AI软硬一体方案介绍】

Q: 数据上传是安全的吗？

A: 目前EasyDL是提供私有化部署的能力，如果客户场景比较敏感，安全性非常高的话，我们是利用我们的平台，训练出一个模型完全可以部署在用户的私有的服务器上的，如果您担心的是上传数据的安全性，我们百度本身是有非常严格的数据管理的机制，会对用户的数据做好隐私的工作。

 

Q: 物体识别数据标注是人工标注的吗？

A: 刚才付明磊老师演示了数据标注的流程，就是需要进行人工标注。当然平台也是提供了智能标注的能力，用户只需要标注30%的数据，我们就可以把剩下的数据全部标注完。

【智能标注地址】https://ai.baidu.com/easydl/pro/app/ia

 

Q: 模型能不能布置在云端，部署到本地，在哪里看到本地部署的资料？

A: 刚才付明磊老师介绍了本地VMX计算卡在本地运行的视频，包括这些资料都是在设备SDK里就会提供给大家。

以经典版图像分类为例，其他版本或模型以同样方式均可找到对应的SDK部署文档说明

【经典版图像分类模型发布整体说明】https://ai.baidu.com/ai-doc/EASYDL/mk38n3061

 

Q: 是不是能够上传已经标注好的数据？

A: 这个是可以的，支持的，但是这个数据需要有一定的格式。

 

Q: 检测的精度是多少？

A: 我们本周会把模型的参考的性能会在文档里体现出来。检测的精度还是要看用户本身的数据集要先上传上来，在用户数据集上表现的精度，我们提供的模型在业界应该是非常领先的精度水平。

 

Q: 能不能上传我们的用户代码，用户训练的自定义？

A: 专业版有两种，一种是脚本调参，我们会提供预制训练代码模板，客户可以提供修改。另外提供一个Notebook，在Notebook环境里用户可以完全自定义训练的代码，就可以任由用户进行发挥，Notebook会提供一些算力，像V100之类的算力。

 

Q: 标注有没有语义分割？

A: 我理解这位朋友问有没有语义分割的模型，我们的经典版有图像分割的能力，具体来说语义分割能力本身，我们今后也会进行支持，现在平台图像支持是室内级别的分割。

 

Q: 标注系统能多人登录同时标注吗？

A: 是的，可以进行多人标注。

 

Q: 模型的原理是什么？

A: EasyDL也是在之前进行了一系列的直播课，有兴趣朋友可以翻一下B站上以前的课程，我们也讲过专业版模型的细节，一些原理，我们都讲过的。

【EasyDL实战营基础课程回放】http://abcxueyuan.cloud.baidu.com/#/course_detail?id=15167&courseId=15167

 

Q: YOLOV4什么时候更新？

A: EasyDL开放的YOLOV3是百度训练好的，但其实百度本身也是出品了基于YOLOV3增强版的模型，这些模型效果从公布指标上来说是完全可以和YOLOV4媲美的，当然YOLOV4也有一些值得学习的地方，百度后续也会进行研究，可以把他们有益的部分融合到我们的模型中，后续也会进行开发。

 

Q: 图片位置转换真实位置是用的透视变换吗？

A: 这个就是做了相机的参数标定，就是使用比较成熟的标定算法，原理就是透视方法。

 

Q: 机械臂末端高度怎么控制？

A: 一个是很常见的机械臂的问题，我们也是根据实际的环境慢慢调起来的，采用了ROS中的Moveit。

 

Q: 标注能不能上传PASCAL VOC格式？

A: 我们平台支持的数据标注的格式和（英文）是非常类似的，用户也可以进行非常简单的数据格式的转换就可以转换成我们需要的格式。

 

Q: 配置的时候最长训练时长是怎么设置的，默认0.5小时够吗，还有计算节点，设置时间是什么作用？

A: 最长训练时长，因为在训练过程中，最长的训练时长保证用户的预期，比如说你定了一个小时，这样我们训练模型真正训练了一个小时就会结束，就是说你有多少预算吧，我们就会提供多少预算的模型。计算节点，如果用户数据量非常大或者用户想追求模型产出速度最快，我们可以提供更多的节点，同时相当于我们可以加速模型训练。简单换算就有两个节点模型的训练，基本上速度会比一个节点快很快，四个节点比两个节点更快，六个节点更快了。

 

Q: 本地安装是不是需要购买加速卡？

A: 我理解这应该是要的，因为我们本地的SDK本身是和加速卡进行绑定的，当然具体这个问题我们之后可以在后台确认以后再回答一下。

 

Q: 现在设备SDK不好用，一直启动不了？

A: 这个问题可以反应工单给我们的工程师，可以一起看一下原因，有可能是因为设备，也有可能是环境导致的原因，这个需要具体的排查。

 

Q: 公有云部署不用加速卡吧，仅本地部署用？

A: 我们的公有云部署指的是用户训练完模型以后，可以以API的方式进行部署，用户怎么调用呢，比如你有一个手机，我们只要简单的手机上点APP，APP向我们的API接口发送一张图片我们就可以预测出来，所以不需要进行部署，只需要有网络，有接口，有一些授权。

 

Q: 检测速度好慢实际生活环境没法应用？

A: 这个是针对付明磊老师VMX演示，一个变化的指标在PPT里写的，YOLOV3需要1.7秒，想缩短也是可以，比如训练的时候可以将训练尺寸下降，训练时长就可以降低，如果对速度还有进一步的要求，我们也可以选择，像提供SSD的模型，这个速度比YOLOV3快很多，延时就会快一些，具体还需要根据具体场景进行分析。此外我们研发同步了，最新YOLO控制在300毫秒以内了，刚才演示的SDK还是老一些的。

 

 

【5月14日，周四，汽车零件瑕疵质检及AI应用介绍】

Q：人的准确率怎么统计出来的？

A：这个统计不是特别准确，我们有一个初次检测，之后会把这些抽样进行复检再进行统计，复检过程中也有可能有错误，这个统计相对来说不是绝对的准确率，就是不能从上帝视角去评判它到底检测率是多少，我们只能说复检的检测率大概在什么状态下。

前面还有小伙伴提到准确率在汽车零件里是不是可接受的？

其实是可以接受的，因为我们整个喷油器是由多个环节组成的，不能保证每一个环节，每一个零件准确率都达到100%采用使用。

刚才有小伙伴提到跟传统的检测的关系，深度学习。其实我们在这个项目之后还接到过一个项目，要求做键盘的外观瑕疵识别，它提的要求是一定要基于良品检测。什么意思呢，我有一个键盘的键帽是良品，我需要根据这个良品进行训练，之后这些检测环节不是良品的就是残次品，是这样的逻辑。我们这个喷油器检测是从瑕疵品作为训练的，不是瑕疵品的我们就认为是良品，所以这两个逻辑是不一样的。这两个逻辑的背后使用的技术就不一样，如果你要基于良品，你首先就得用传统的机器视觉的检测方式，就得自己做特征共存，那可不是一群本科生能够做得到的，而且你自己做特征共存成本非常高，像这些康泰斯这些大厂不会做不同用的，深入到很垂直领域的目标检测。深度学习的出现，相当于识别的过程交给卷积神经网络做预测的，它的通用性非常强，只要你能保证足够高的可见度的数据集，就像我们采集了几万张，不停的标注来训练，当然这个过程是非常痛苦的，也因为深度学习可能表面上看起来去掉了一些检测的职位，但是生成了很多数据标注的公司，就是养活了另外一批人。所以，这是我的一些简单的感觉，不知道实际深度学习和特征共存可能需要一些专家给出更好的理解，就是我个人的理解。

检测的类别。我们是分了几个类，有瑕疵、刮痕、黑点、锈点、白斑，当然在实际过程中，最后我们分成瑕疵和非瑕疵更好，更有利与我们的检测效率，本来我们想做分类以后做分类的处理，分类的处理后面的自动化又实现不了，所以多分类就变得意义不是特别的大。

 

Q：软件是如何集成的？

A：我们之前是调用的EasyDL的API接口，训练好模型以后它会提供一个网络接口，我们通过Qt软件做访问，我们上传一张图片会返还图片识别的结果，有了这个识别结果就可以进行分类。

有个小伙伴问基于良品的检测，那就是传统的机器视觉的算法。

 

Q：这次讲解的案例是用哪一款软硬一体产品，是部署在Windows上吗？

A：是部署在Windows，后来我们发现有EdgeBoard以后，有一个边缘的图像识别，能够极大的减少我们的成本，我们要有一个工控机的Windows系统，我们要开发Qt软件，球体软件就是用了CSharp做了硬件的集成啊。

我还是想回答关于良品如何检测的问题。良品检测是传统的机器视觉，就要做特征工厂，比如我们有一些OPNECV的算法，你通过处理一些，或者用数学算法找到它的特征，比如识别一只猫，传统的机器视觉首先要把猫的轮廓识别出来，你有两个耳朵，尾巴，四只腿，这个就是类似于小动物，或者说你能识别出一个圆形，做边缘检测就是传统的基于良品的检测。这个特征工程需要很多很多视觉的基础知识，一般都是由一些硕士博士来做特征工程的，这些特征工程在高校里特别好发paper，但是神经网络是暴力检测，就是通过卷积神经网络帮我们做识别，我们是基于一种瑕疵做识别。

 

Q：您当时把所有异常类型都要标注出来吗？

A：对的，标注的越多，最后在检测的环节能够分类出来，但实际我们在升级生产环节当中觉得没有这个必要，你可以把全部的瑕疵都标为瑕疵这一类，但是有瑕疵的地方一定要标注出来。

 

QA：有同学问离线部署的价格，我们这边提供永久授权的SDK价格，是从200元到3万元不等，可以在官网查看我们详细的价格类型。

【打开EasyDL官网】https://ai.baidu.com/easydl

 

Q：分拣的算法只用EasyDL里吗，要不您讲讲在EasyDL里是怎么训练您这个模型的吧？

A：我能不能只讲这个图片，因为我没办法再打开这个平台。

Q：可以描述一下您当时用的是经典版还是专业版吗，具体用了什么模型，遇到过什么困难之类的。

A：好的，我再共享一下屏幕。

A：这就是咱们EasyDL经典版物体检测模型的平台。因为改版了，之前跟现在的可能不太一样，这是现在平台的模样，我们选择的是物体检测的环节，点击前往，然后创建模型，创建好模型以后，就可以上传图片，并且是可以打包上传的，上传好以后有一个训练的环节，可以做标注的环节。比如创建好数据集以后，可以在数据集当中找到上传的图片，就像之前上传了499张，就可以对它进行标注，标注框不是这样，这是我自己画的图，大家可以自己尝试一下，因为这个真的是操作很简单了，在这边可以添加一个标签，比如刮痕，我就会标注刮痕，黑点或者毛疵就可以添加，添加好了以后就可以用四方的框子标出来，就会看到这是哪一个类型的，这是毛疵，我标注为毛疵这个类型的，其实实际操作起来比较简单。

 

QA：刚有小伙伴问，如果数据集很少怎么办。少量数据集，模型的效果跟你如何标注也有关系，标注越准，最后得出来效果越好。另外训练集的背景和各种情况要和应用的时候相同，这样保证效果更加优秀。

QA：标注后的数据集能下载吗？下载到本地？目前还是不支持的。

 

Q：如果有新的瑕疵您这边会怎么处理呢？

A：我们都是根据人工检测的流程来的，首先从项目角度来说要调研清楚有哪些瑕疵，一般来说不太可能出现新的瑕疵。

 

Q：所以这是一个历史数据，我们得出来有哪些瑕疵再进行标注对吧。

A：对，从工厂的季度来说，如果确实有可能出现新的瑕疵，我们再对模型进行重新训练也可以得到新的模型，只要调用这个新的模型就可以做新的检测算法。

 

QA：如果用EasyDL训练出的模型效果不好怎么办？最快捷的方法就是从页面上直接提交工单，我们有研发老师在值班，随时给大家解决问题。

有人问视频回放，这个肯定有，前提是要加小助手微信，之后公布视频回放的地址，大概一到两个工作日就会给到大家。

 

Q：当时的数据集大概有多大？

A：我们自己采集了有几万张，具体我没有统计。但是这个数据集应该用了四五百张吧，就是我们实际在部署到实际生产环境当中的模型，训练了四五百张。

 

Q：您当时的数据有先做过什么处理吗？

A：实际处理没有做过太多，之前因为数据集不够的时候做过一些黑白处理，做了分割处理，但是后来发现检测效果并没有太大的提升，而且在深度学习里有一个概念叫做端对端，有可能你做过处理以后反而不见得，相当于你把特征自己做了一个区隔，可能在神经网络当中，可能就少了一个维度的特征，也不见得是好事情。

 

Q：这次质检项目里用的摄像头分辨率是多少？

A：500万，但是跟实际的采集有关系。

 

Q：就是在应用过程中吗？

A：对，针对不同的项目，需要的分辨率是不一样的，只要你能保证采集到清晰那就是好的，如果你30万的摄像头也能采集清晰，首先成本上就降低了，主要目标是为了采集到清晰的图片和数据就可以了。

 

Q：数据标注都是自己人工标的吗？

A：对，肯定是人工标的。

A：明白。我这个地方补充一下，数据标注这个地方，因为我们也提供智能标注，如果大家使用物体检测这个模型，也可以使用我们的智能标注，大概标30%左右的图片，让智能标注跑，如果标注不好，大家再标标可能效果就很好了。

Q：我拆一个台，好像这个功能我测试了一下，好像效果并不是特别好。

A：是吗，那您可以提交工单，我们后台可以帮您查一下，说不定明天就知道为什么不好了。

Q：好的。

 

Q：遇到过拍摄瑕疵的时候有光源反光的问题吗？

A：这也可以作为一个课题和大家分享一下。其实在目标检测这个领域，难的真的不是识别算法，首先因为这个算法是开源的。其次，像EasyDL平台或者谷歌的Tensorflow平台，它都能做到很好的检测效果，但是其实真正难的是在于你怎么采集到这个有效的数据，是非常难的。像刚才这个小伙伴问到光源反光，这个就完全不能工程运用，一旦反光，采集的东西是无效的，就没有办法做实施。

还有我们之前还接到一个案子，它是做汽车挡风板的，板子上有几十个点需要做检测，还有凹凸，它需要做智能检测的方案很大的成本都花在了采集图片上，首先我要多轴的机械臂技术数据的采集，因为要不停转换角度进行图像拍摄，这个成本是非常非常高的，有可能这个机械装置很可能比人工的检测成本高出很多，实际这个装置的生命周期可能三年，你要付出几百万，人工可能只付出几万就可以做检测了。所以在目标检测或者说视觉瑕疵检测里最关键是数据采集和数据标注上，后期的算法现在真的非常成熟，各家都有非常好的产品做支撑。

 

 

【5月15日，周五，机械臂焊接视觉定位及线路板质检思考】

Q：机械臂如何通过视觉算法带动机械臂运动，如何对机械臂运动方向进行预判提高控制效率？

A：实际上我所有在机械臂的视觉识别都是在机械臂停止的状态下拍的照片识别的，并不是实时的视频的识别。也就是说我并没有做运行方向的预判，因为本身我用这款机械臂它是碳纤维集成的机械臂，比铸铁的机械臂钢性差一些，有一些震颤，如果在运动中识别精度是没有那么高的，因为有一些抖动。好像拿着钓鱼杆，把摄像头放在钓鱼杆前面，拍出来的照片和运动轨迹可能不一样，所以我并没有做这个运动轨迹和图像识别的适配，我是靠多次识别进行的，机械臂逐渐的逼近要拿取的物体，也是解决了镜头机变的问题。最开始离的比较远，变形比较大，但是用三四回逐渐逼近物体，放在图片的正中间的时候我再进行抓取，这样也不用很复杂的算法就解决了，等于是一种暴力计算的方式来做的这个。这个问题就是这样。

 

Q：过程有一些同学问到软硬一体方案能不能跑Paddle其他模型？不是EasyDL这种方式？

A：答案是可以的，我们做的EdgeBoard这套方案是为飞桨和EasyDL专门定制的硬件，支持飞桨和EasyDL。后续还支持可视化部署。

 

Q：计算机和加速卡有什么区别？

A：这里我补充一下，我不知道这个问题是不是想问计算卡和加速卡有什么区别，FZ3是带LINUX主控系统的，可以直接理解成一个小型电脑，在上面开发业务程序，进行业务控制。加速卡其实是一款协处理器，需要通过宿主机进行工作，和宿主机之间进行数据通讯，还有加速相关程序的调用。所以，我们往往说这个加速卡是能够给设备带来平滑升级的，设备不需要替换它的主控板，只要有相应的接口就可以使用我们的加速卡，然后把EasyDL的模型、Paddle模型进行部署和调用。

 

Q：模型可以直接推进到设备里吗？

A：现在的方案是，我们需要在EasyDL上进行下载的操作，这个操作下载到个人电脑上之后，可以通过文档里提供的部署方式，拷贝到设备里进行部署，这是一种。同时，我们也在不断地优化这些硬件的易用性，近期在开发EdgeBoard管理系统，就是在设备的内部，可以做到可视化的把SDK通过界面操作部署到硬件里，并且这套可视化系统可以很好和摄像头进行联动，通过视频的地址，网络摄像头的地址，可以把整套流程跑起来。

 

Q：热量分布如何，散热有什么要求？

A：这个我回答一下。其实一个主板或者开发板它最主要的功耗的元件在主芯片，目前VMX这款卡我们做到0.5W到2.2W功耗，所以在售卖的时候基本上不需要带散热片甚至散热器，当然说局部温度可能会高一点，但是在实际的应用场景里我们可能会放到设备的腔体内，会做一些结构上的连接，让它更好的通过腔体散热。FZ3Lite这款我们配了风扇，实际功耗是5到12W，很多时候不用风扇，我们配一个铝的金属散热片或者外壳也能做到被动式散热。盒子的形态散热比较高，我们采用的是主动散热的方案。

 

Q：机械臂配置哪一款更好？

A：这个要看你自己，如果你之前没有用过机械臂，建议第一款还是买几千块钱的教育级的机械臂，因为你给机械臂编程的时候，如果编过程序肯定知道什么是BUG，机械臂一样会出BUG，如果机械臂出错了就会碰撞，不管把你自己碰着了，还是碰到桌面或者墙壁都有可能发生损坏，所以如果初次接触机械臂，建议买一个便宜一点的，几千块钱的，不要买上万的，容易伤着人或者把它自己弄坏，几千块钱的力量比较小，就算有一些碰撞，一般自己也不会坏，你多进行一些尝试以后再买一些比较昂贵的机械臂。当然，机械臂这东西上不封顶，几百万上千万的也都有，主要看你的应用，你需要多大的臂展，需要多大负载，这个都不一样。

 

Q：中药煎药案例是什么原理？

A：中药煎药的罐子是靠人工在侧面看，其实用一个很便宜的USP摄像头对药罐进行监控，就可以读出页面的高度，中药这个比较简单，就是宗黄色的液体，很容易辨别出高度，有两三个参照物就可以计算出一定的容量达到多少，达到多少自动关火，如果做不到联动，至少可以手机报警，弹个窗或者发短信，这都是可以的，这是中药用视觉算法可以实现的功能。

 

Q：问FZLite能不能直接接USB摄像头？

A：这个是肯定的，我们跟全国举办的小车智能比赛合作，我们打造一款智能小车也适用USB摄像头，可以在赛道上实现无人驾驶的学习，所以USB摄像头应用是非常成熟的。刚才讲的有一点误导，重点讲的网络摄像头，因为主要在产业界、工业界或者说现在整个行业内，安防摄像头是占的份额和比例是最大的，所以我挑了一个摄像头来讲，但不代表USB摄像头或者密闭摄像头不支持，这些都可以支持的。

 

Q：VMX计算卡如何在开发中应用？

A：我回答一下，这个是挺简单的部署操作，咱们把Type-C数据线通过一端连到开发机、宿主机上，比如自己的笔记本电脑或者台式机，另一端连到加速卡，在我们的系统内就可以把对应的，VMX这款SDK下载到笔记本里，然后就可以实现部署调用，就这么简单，不需要另外再开发一些其他的程序。

 

Q：现在只能外接机械臂吗，还是可以外接其他的设备？

A：不一定只控制机械臂，机械臂这个东西对程序员来讲是通用的位置定位的一种设备，你可以这么理解，你可以理解为不是机械臂，而是你给它一个三维空间里的坐标，就可以到这个位置，所以在你研发一个东西的时候，用机械臂比较方便，因为机械臂有六个自由度，运动范围很大。但是如果是量产设备，可能用一些滑轨或者丝杆控制方式成本更低，但是如果研发阶段就用丝杆，可能运动范围就被受限了，所以一般开发过程中推荐用机械臂。所以你的问题是，还可以用在雕刻机或者其他什么设备上，当然可以，雕刻机有两种加摄像头的方式，一种是摄像头和桌面或者和地面相对固定，和雕刻头或者激光头或者画笔，这些东西是相对运动的，这是一种方式。还有一种方式，你把摄像头直接放在像机械臂或者雕刻机放在头部，跟着刀头一起运动，这两种方式都可以，只不过你从摄像头不管用网口还是USB，获取这个头像给AI识别出来的结果都是像素坐标的结果，你要换成鸿渐物理坐标，自己写一个软件就可以了，至于用机械臂还是用其他的雕刻机这样的东西或者CNC也好，都是一样的，只不过机械臂方便与软件工程师把自己的代码变成在现实物理世界中的表达，能够突破屏幕的障碍，这是比较有意思的一点。

 

老师：我补充一下无魂胜有魂老师的回答。对于我们来说，比如在智能手机出现的时候，我们很难想到这个手机能用来订外卖、扫码或者做其他自动化的事情。AI也是同样的情况，我们现在处于智能手机早期的阶段，用AI来做什么，只有想不到，没有做不到。在这些智能设备如何用AI连接，其实只要这个设备的操作系统，它的接口是兼容的，操作系统是适配的，理论上我们可以衔接这一类型的所有的设备，比如说机械臂，比如说无人机，比如说无人小车，比如说垃圾分拣的机器或者说智能的电子秤这些都可以。

 

Q：VMX能不能支持树莓派？

A：刚才的问题回答了一半，我们树莓派支持Windows，有Type-C的接口就没有问题，大家如果想详细了解，可以扫描刚才的二维码，或者在AI市场找到商品页，底部有每一个硬件的使用文档，里面详细介绍了硬件的适用范围和使用的步骤和注意的重点。

【百度AI市场搜索EasyDL】https://aim.baidu.com/product/search?word=EasyDL

 

 

安全生产主题

【5月21日，周四，EasyData助力智能云秤一站式数据处理】

Q：支持什么摄像头？

A：摄像头没有什么，门槛比较低，USB能够连接的都支持。

 

Q：去模糊的功能上，清晰度是怎么得出来的？

A：清晰度关于图片去模糊的阈值，openCV库基于拉普拉斯算子有一个方法，可以通过它做卷积运算计算出图片边缘的方差，计算出标准差，我们知道图片有比较高的方差，就有比较广的评奖范围，方差比较广表示是比较正常的图片，如果方差小的话，边缘数很小，我们依据这个判断这个图片就比较模糊，如果是正常摄像头拍摄的，不对聚焦进行处理，正常的摄像头拍摄的图一般是满足这个规律，如果你用相机拍摄比较模糊的图片，比如前面清楚，背景模糊的图是不适用这个原理，但是正常来说，实用场景的摄像头基本上拍出的图片可以用这个方法去模糊。

 

Q：边缘设备需要怎么部署？

A：边缘设备指的是什么，一般来说有摄像头可以接入到开发版或机器采集图片，我们的SDK可以支持主流的系统。

 

Q：EasyData一般用在什么场景比较多？

A：对于我们不需要做很多数据处理的开发的场景，需要标准化数据采集，尽量减少开发，尽快提高模型效果的场景，比如刚才说的生猪的模型场景，一些植物的场景，一些水果的场景。其实用途很广，超市货架可以用，因为我们支持图像分类很多，有图像分类和物体检测等等很多训练的方式，一般来说现在摄像头采集数据比较方便，这样就可以采集数据的场景，接入摄像头数据的场景都是比较合适的。

 

Q：生猪识别是识别什么，是种类、数量还是状态？

A：可以做的很多，最基本的需求是识别数量，最后你可以慢慢往后拓展，如果是视频流的话，可以针对它的轨迹进行识别，因为你可以把视频流拆成很多帧，对轨迹和标号进行识别，根据这些数据可以训练不同的模型，比如是不是在吃东西或者睡觉，是不是运动量过少，生病之类的。种类的话，其实数据训练量过大的话，我理解这也是可以做到的。

 

Q：有同学问，像刚才讲到云秤的水果识别是用图片分类还是物体检测比较好？

A：水果识别这种，根据我们现在这个场景，一般来说超市结算一次性只会摆一种水果结算，单图单标签是最好因为一个图片里不会出现多个水果，所以还是图像分类这种单图单单标签比较适合。物体检测适合更复杂一点场景，比如需要检测这个图片有多少个水果，如果是混合不同水果类型和数量，都要识别出来的话，可以用物体检测。

 

Q：现在水果识别可以做到离线吗？

A：我们支持离线部署，EasyEdge就是离线的SDK部署。

 

Q：咱们的数据现在可以下载到安卓进行离线运行吗？

A：数据集还是需要导入EasyData，训练是在EasyData和EasyDL上做，训练好的模型可以部署在设备上，可以离线部署。

 

Q：标注好的数据能不能下载到本地？

A：可以，我们有数据导出的功能，我们支持，以及我们标注好的数据也可以直接带着标注信息导入到数据集，这样比较方便，如果有一批数据想导入到数据集，连着标注好的数据也可以，可以直接进行训练。

 

Q：EasyData是只针对图像数据吗，像视频、文字是不是也可以处理？

A：对，支持，但是不是通过摄像头采集，这个可能是通过数据上传，比如支持文件的直接上传以及数据集直接导入，以及数据闭环的数据回收，除了摄像头导入之外，这三种数据上传方式都可以，不限制是不是图片，当然可能没有摄像头采集这么方便。

 

Q：到后期水果种类增加的话咱们怎么做？

A：因为有数据闭环这个功能，一开始数据集只是训练了50种水果，后期使用场景发现更多的水果，因为这个模型已经部署了，在数据闭环里会采集并筛选，可以在EasyData获取到我们后来训练到的新数据，可以把这些数据导入到数据集重新进行标注，然后进行迭代训练，可以不断提高标签的广度和训练的精度，因为我们是支持不断的再训练，就是数据训练再训练回收的过程。

 

Q：这个摄像头接规定的设备才能完成吗？您讲一下摄像头的数据怎么接入EasyData里吧。

A：好的，现在摄像头就是一个视频抽帧的形式，然后加密传输到EasyData，这个场景是需要网络的，SDK是支持LINUX、Windows、ARM，ARM开发板，这是一种情况，主流的还是Windows和LINUX比较多，这两种情况你需要有这样的系统连接摄像头，有一个设备，然后需要有网络，才可以把数据上传到EasyData。

 

Q：单图多标签清洗和单图单标签的是一样吗？

A：不一样，可能训练之初目的就不一样，单图单标签就是一个图里放多种水果，必须全部都能识别出来，这个场景更简单一点，模型效果也更高，单图多标签也是可以做，复杂度可能高一些。

 

Q：物体检测和图像分类的时延性的区别？

A：时延性的区别是指模型API反映效率吗，还是要具体看模型自身的效果。

 

Q：咱们视频流可以接在EasyData里做吗？

A：在我们最近只接受抽帧，后面有计划接受视频流的数据。

 

Q：只能接一个摄像头吗，可以不可以接多个设备？

A：可以接入多个设备。可以在摄像头管理可以看到，这下面支持多个摄像头，可以在这里多个勾选，我们是支持多摄像头的。

 

Q：所以每个摄像头上传上来的数据会单独存在那个摄像头的标签下吗？

A：对，可以根据摄像头的粒度筛选所需要的图片，不是混合存储的。

 

Q：水果识别支持智能标注吗？

A：我们单图单标签不太适合智能标注，刚才的标注过程就是一张图我们之直接点选标签，就是标注完成了，这个场景暂时不支持智能标注，但是我们的物体检测是支持的，我们之前生猪的案例是支持智能标注的，这个情况下可以节省人力，你可以搜集一轮数据以后再开始，数据比较多的情况下再标注，比没有智能标注的情况下要快不少。

 

Q：如果是使用笔记本自带的摄像头需要如何添加设备呢？

A：刚才可以看到这里添加设备的时候，这里可以选择设备，笔记本的设备如果开启的话，可以选择到的，也是都可以添加的。

主持人：好的，可以看到很多路径。

A：对，我这上面是额外接了两个摄像头，这都可以选择。

 

Q：复杂场景的目标可以检测吗？

A：具体指的是什么呢？

主持人：这个同学也没有详细讲，可以在弹幕区补充一下复杂场景具体指的是什么？比如多个水果还是说有什么具体的应用场景呢？还有什么其他的问题，我看看群里有没有提问。

 

Q：比如大雾、雾霾这种可不可以做检测，可以看出来吗？

A：图像的识别，如果给出比较标准的场景，比如背景差不多的地方可以做一下训练。

 

Q：这是刚才复杂场景说背景比较复杂，比如水果后面有水果海报，可能要检测复杂背景中的一个物体，这个可以做到吗？

A：也可以，生猪那个案例可以，猪的情况有的时候会互相遮挡，挤在一块，导致识别过程中不是很准确，其实到后面我们模型训练完以后，猪栏的情况就是有一些栏杆的遮挡，猪互相之间的遮挡，后来训练出模型效果还可以，对于稍微复杂的场景也是可以做的，如果觉得场景比较复杂的话，可以咨询我们的研发同学，我可以提供一些帮助。

 

Q：还有像复杂背景下的小物体检测，我理解是不是和如何标注也是有一定的关系？

A：对，有些场景下，本身标注就比较困难，这时候可以用一些智能标注的功能。

 

Q：在离线版本下，种类增加的话要怎么做呢？

A：还是需要把数据反馈回EasyData上进行重新训练。

 

Q：工地上检测有没有戴安全帽时要用什么样的方案？

A：这个我理解应该是单图单标签可以尝试跑一下。

主持人：了解，这也是通过视频的形式，把监测的视频接入过来。

A：要看一下实际的场景，比如在入口补一个摄像头，每次一人一过这样的，这样的单图单标签应该可以，但是如果场景比较复杂，人很多，一起进出，这种情况下物体检测会好一点。

 

Q：在复杂背景下智能标注错误率比较高，怎么避免呢？

A：智能标注错误率比较高，说明这个模型预训练效果不是很好，因为智能标注本身原理就是对已经提交标注的图片进行预训练，这个效果不好你可以从几个角度上找原因，第一就是这个数据规范的程度，是不是比较规范的数据，适合训练的数据。第二就是训练的方式，比如有没有选对分类。第三个，如果这两个排除没有问题的话，可能是需要加大一些训练量。当然如果效果实在不好，可能需要一些专业化介入，需要找到我们的研发同学。

主持人：了解。我补充一下，大家如果想找研发同学解决问题，可以从页面上直接提交工单，由后台研发同学给大家解决相应的问题。

 

Q：部署到本地以后，摄像头分析物体和API相比怎么样？

A：会比API快一些，节省了请求本身的网络时间开销，具体还是依赖于设备本身的性能。

 

Q：智能云秤这个设备大概什么性能？

A：现在使用场景来看要求不是很高，刚才放的视频里可以看到，识别的速度还算可以。

 

 

【5月22日，周五，电力AI巡检应用分析】

Q：AI巡检有跟EasyDL做边缘加速吗？

A：一个是SDK中是有优化的，会更加好的适配EasyDL的模型，也看到了NVIDIA也是几百毫秒完成物体检测已经做过加速，这个东西我们也会持续优化。

 

Q：方便不方便介绍一下输电线路的隐患识别应该怎么做？

A：输电线路的隐患有很多种，刚才我在PPT里跟大家分享的输电铁塔鸟巢的识别，这个相对来说在所有的输电线路隐患当中是比较直观，而且大家也比较容易理解，比较好做的场景，所以我们选取了输电铁塔鸟巢的识别作为我们的展示的对象。除此之外，输电线路当中的隐患有非常多，比如间距的构建的等等很多，这些场景我们在自己的实验室里和我们的实际生产当中做过很多的应用和分析，效果比鸟巢差很多，最主要的原因是这些隐患的照片非常难获得。举个例子，比如销钉的脱落，本身它就很小，无人机要想把缺失的销钉的场景抓到，难度非常高。诸有此类，我们在实际中能抓到一些，但是抓到的几率要比鸟巢小很多，所以我们没有把这类的缺陷作为我们的训练展示的场景。我就简单回答这么多。

 

Q：巡检机器人用的是什么控制器，用的什么通信，是先识别还是传输回去再识别？

A：无人机现在一般用2.4G视频作为通信，平时在工程当中都是无人机先拍摄，完了以后存在SD卡上，然后回到自己单位里，在实验室跟班组里做进一步的分析和提取，而不是直接回传到分析机器上，是这样的。未来如果5G通信普遍了，通信的价格非常便宜了之后，我们可以用实时回传的方式处理。

 

Q：云端API最高并发量有多少？

A：云端API一开始不是通过并发，直接提供QPS，一开始应该是5QPS，如果对QPS有更高的需求可以提工单，或者直接联系我们的同学帮你加高QPS。

 

Q：输电线路的挖掘机检测，远处的挖掘机不在线路上，但是识别出来了，如何确定它不会影响识别的结果，如何定位的呢？

A：这个要自动识别+人工判断，两者要结合起来，这样才能准确的判断。一般来说电缆的通道上，摄像头安装的位置基本上角度是针对电缆和输电线路走向布的，基本这个通道也是比较明确的。我们在PPT里和训练过程当中，这些图片都是公网上找到的，属于开放性的场景，跟我们的实际电缆，输电线路场景还是有所不同的，真正我们用的过程当中，这个更加具体一点。

 

Q：私有API数据安全可以保障吗？

A：这个私有API数据不会上传到云端，还是在用户本地。

 

Q：私有API和SDK哪个性能更好一些呢？

A：目前应该是SDK的性能更好一些。SDK是用户直接基于SDK封装就可以，私有API上面还会做一些封装的服务了，相当于SDK更好。

 

Q：刚才PPT里说的阈值和置信度是什么关系？

A：阈值和置信度我们感觉应该是两者是同向的关系，相对而言，阈值是你为了识别出这个物体给的门槛值，置信度是判断准确率的角度。

A：田老师说的是对的，置信度就是给这个检测结果做一个打分，阈值是在筛选是在哪个分数以上才需要。

 

Q：电缆下面的树木或者房屋，一些建筑也做一些识别判断的模型呢？

A：这个可以做，但实际每年春季的时候，冬季的时候，巡检人员主要工作就是树枝的修剪，这个场景做起来更加简单容易，所以我们没有选取作为典型的识别的训练场景。

 

Q：在EasyDL上面训练出来的模型可以用飞桨进行更改吗？

A：现在训练出来的模型还不提供大家下载到自己的本地，但是SDK里是包含了那个模型，但是我们不单独提供模型的下载。我们EasyDL专业版是在里面有一个Notebook，Notebook在EasyDL环境中对模型进行迭代训练，可以自己写飞桨的代码进行训练。

 

Q：鸟巢识别采用的5G用无人机，能达到即时识别的效果吗？

A：这个应该是可以的，随着这个技术的普及，关键还有一个费用的问题，成本下来之后，如果很便宜的话，这个是可以做到，这个是成本的问题，跟技术上没有太大的关系。

 

Q：有没有做绝缘子防震锤导线等识别？

A：这个在我们检修公司都有比较成熟的应用，我在今天的展示过程当中就没有特别举这个例子，因为这些图片看起来更加专业，不是一般的小伙伴能理解的。

 

Q：现在的巡检机器人可以自主巡检还是靠遥控的？

A：还是依靠遥控的。

 

Q：私有API和SDK的价格是免费的吗？

A：一开始有试用版，这个是免费的，正式使用的时候可以申请正式版，正式版的价格有不同。

大家如果想了解设备的SDK可以在界面上进行直接的购买，大家登录EasyDL官网可以找一下SDK的价格介绍。

   

 

Q：电磁干扰会不会让通信失败？

A：普通的电磁影响是不会造成无人机故障的，检修机器人的故障，因为这个都有相应的国标，我们这些设备都要满足国标的要求，具备抗一定标准的电磁影响的能力和电磁兼容的能力。如果超标的电磁影响，如果特别大，超的比较多，那会对设备造成影响。

 

Q：无人机是遥控的还是自动巡线的？

A：无人机是遥控的，自主巡航的现在正在做，成本也比较高，还没有广泛的推广应用，用的最多的还是靠人工遥控。

 

Q：肯定人工遥控比较多一些。电力巡检的前沿在什么方向呢？

A：就是智能化、无人化和5G广泛应用，这是未来的方向。

 

Q：5G对电力巡检最大的影响是什么？

A：更加及时，更加便捷，更加高效。

 

Q：防震锤的异常检测是检测什么？

A：主要是检测它的结构本体，跟它的摆动浮值这些。

 

Q：请田老师看看能不能说一下，有没有遇到具体的难点，比如之前提到销钉这种难点？

A：销钉的难点主要是销钉比较小，对我的输电铁塔来说就是非常小的设备，要想清晰的把销钉的缺失和损坏完整的拍摄下来，这个难度是非常大的，因为对一个相较于输电铁塔来说，这个销钉非常小，所以难度主要是大跟小的关系。同时，无人机拍摄过程当中，图像也很难保证角度跟清晰度、分辨率能够非常完整，这个可以结合5G的高清装置等做一些提升。目前销钉方面的缺失有，但是样本还是比较难找的。

 

Q：田老师您这边一共收集了多少样本？

A：我们这回做展示的是50多张图片，各有50多张图片。我前面也介绍了挖掘机全部是公网寻找的图片，鸟巢的图片大概有三分之一是我们自己的，也做了隐私处理的，还有三分之二是从公网上找的，大概情况就是这样，每个场景图片都超过了50张。

 

Q：请问您这次演示的图片可以提供给大家作为这次作业的数据集吗？

A：可以的，我们已经发布到云上了。

【数据集】https://pan.baidu.com/s/1NzdmO6usb63WDDmWxO_OyA  

 

Q：在您日常操作中有考虑过优化拍摄路线吗？

A：这个有的，结合我们历来积累的经验，有一个优化的最优路径的选择。

 

Q：还有一个新的问题，训练集和验证集是如何划分的？

A：经典版训练集和验证集是自动化划分的，一般是7：3，专业版大家可以调参控制。

 

 

【5月23日，周六，基于AR与EasyDL的地下资产管理方案】

Q：有同学问现在EasyDL是如何做车牌识别的？

A：我回答一下，车牌识别在AI开放平台中有一个通用能力，大家可以找一下。EasyDL如果你要做车牌识别，首先你得搜集一些数据，上传到我们的系统进行训练，然后根据自己的数据集得到效果对应的模型。

 

Q：在之前巡检案例中，有同学问当时的老师数据集有多大呢？

A：每一类图片大约有2000张左右。

 

Q：有没有视觉读表的应用？

A：视觉读表这个我不是特别理解，不知道是不是表格识别的应用，如果是表格识别的话，在AI官网上，通用里也有表格识别的对应能力。

主持人：好，这个同学可以在AI开放能力里搜一下，看看有没有对应的，如果是其他的表，比如水表、电表之类的，在评论里再说一下，我们再请老师解答。

 

Q：在APP中用的是API还是SDK呢？

A：在APP里就是SDK已经集成在APP里了，不是通过API识别的，当然也可以在APP里进行API调用识别，但是直接在APP里集成SDK的话速度就会快一些。

 

Q：如果SDK的话，读取速度比API反应更快。刚才补充了，是仪表，水表、电表的识别？

A：如果是仪表的识别也是可以的，可能需要大家搜集对应的图片，因为表里可能会有不同的数字，你可能不同的数字需要做一个框选，用物体检测的模型做，当然这个准确度可能需要实践一下才知道。

 

Q：另外，老师刚才展示的手机SDK水果识别，给我们展示的二维码，有同学扫描之后说，需要信任，但是信任之后还是打不开，再放一下二维码，让同学再扫一遍。

A：刚才有反馈说信任的问题，如果你是第一次下载，IOS上有一个证书的问题，所以需要在设置里点一下，它有两个设置，当然我们在下载的时候可以给大家演示一下这个页面，这里是有一个说明，请对扫描文件进行信任，你可以点击这个。这边会有百度经验的说明，告诉大家怎么设置信任的关系，这是IOS里信任的问题，大家可以参考这个看，Android可以直接下载用了，前提是你部署的时候，有部署到Android的SDK。

 

Q：能不能聊一下在巡检应用中具体定位的方法？

A：其实我们是通过两次定位的方法，第一次是GPS定位到一个大致的位置，然后根据路面上的阀门的信息，阀门的位置和参照物的位置，组成了一个图形，通过图形匹配的方式，在我们的数据库里匹配，把这个数据库和现场的数据，位置对上以后，数据库的数据就通过AR的方式显示到现场。

 

Q：您这个AR的软件卖的话，收费大概是怎么样的？

A：这个我只负责开发，到时候我们有商务这块的，我不太清楚。

 

Q：如果小伙伴想和商务同学沟通应该怎么办呢？

A：我们留个联系方式吧，我们这个软件主要是针对于企业用户的。

 

Q：可能有相关的企业需求。有同学问现在可以自己设计神经网络吗，还是都内置了神经网络呢？

A：大家可以基于EasyDL专业版里的预训练的模型训练，因为我们看到有代码编辑，也可以在代码编辑里做一些相关的改动。另外，除了脚本调参，我们还提供了一个Notebook的模式，大家也可以尝试一下。

 

Q：我们Notebook功能也是新上线的，大家可以EasyDL专业版尝试。有同学问是根据识别图片的大小确定距离吗？

A：有一个定位算法，slam通过屏幕像素坐标转化为世界坐标，根据图像的深度信息算出距离。

 

Q：刚刚巡智展示了巡检的时候，物体正常的记录，如果出现了问题，软件会怎么处理？

A：出现了问题我们会上报，比如数据库的位置不准确，我们会通过前端软件上报到后台进行后台审核，然后可以对数据进行调整。

 

Q：那咱们这边是有历史的维护数据吗？

A：对的，每次巡检都会有纪录的。

 

Q：位置匹配的slam算法也是在手机上进行离线运行的吗？

A：对，是在手机上，但是应该不叫离线的方式，都是有网络通信的。

 

Q：了解，不能严格意义上离线的状态是吧。有同学问，EasyDLVMX加速卡支持使用Paddle训练模型吗？

A：EasyDL专业版和基础版都有对应的基于VMX的一体方案，就是部署方式里最后一个，专用应用适配的SDK，里面就有对应的VMX，EasyDL专业版所有模型都是基于PaddlePaddle训练的，刚才界面上也能看得到。

 

Q：这个同学还想了解，如何在PaddlePaddle上训练的模型部署到EasyDLEdgeBoard上？

A：如果是自己训练的PaddlePaddle模型，就是要自己看VMX对应的文档，如果是在EasyDL训练的话，可以直接参照系统上的流程直接部署。

主持人：我也补充一下，如果大家对VMX比较感兴趣，可以搜索一下百度大脑，会有一些回放，有一节课EasyDL产业应用定位视觉，详细介绍了VMX这个产品，以及软硬一体方案，另外也可以直接去百度AI市场出现EasyDL，出现EasyDL软硬一体方案，也有VMX加速卡。

【VMX课程回放】https://b23.tv/bvDKzI 

【百度AI市场搜索EasyDL】https://aim.baidu.com/product/search?word=EasyDL

 

 

欢迎微信搜索“BaiduEasyDL”添加小助手咨询和交流