主题：如何利用EasyDL进行视觉定位及生产质检

时间：2020年5月15日（线上）

讲师：抖音AI网红 无魂胜有魂

         百度高级产品经理

 

主持人：现在我们进入今天的直播。大家欢迎抖音AI网红无魂胜有魂，带来的如何利用EasyDL进行视觉定位及生产质检。

   

无魂胜有魂：大家好，我是抖音上的无魂胜有魂，很高兴今天能在这里和大家进行交流。我后面可能会放一些幻灯片，可能有一些视频，在我的抖音号里也都有，也欢迎大家看。

    今天主要跟大家交流一下在生产加工中，可能会用到图像视觉以及图像定位进行质检，以及机械臂相关的一些应用的案例。

    我想问一下，大家有多少还是在校学生，在校学生扣1，已经毕业工作的扣2，我就知道大家的侧重点，方便有重点的讲一讲。都是学生是吗，今年要毕业上班了，大家都是学生，行，那我讲的细一点。

    这是几个生产过程中遇到的场景，第一个，这个图大家有认识的吗，这个图是溶喷布在电子扫描显微镜下的图像的样子，溶喷布在两个月以前，谁有能造溶喷布的机器就有印钞机，但是溶喷布生产出来以后要看纤维的粗细，以及整个溶喷布的质量，不管是生产的工厂还是进料溶喷布的工厂，都要对溶喷布进行检测，这上面有表，我也是从朋友那找的图，这个是4.39μm，要测量溶喷布纤维的粗细，如果超过一定范围，过细过粗或者密度不达标，他们要调整机器上的参数。第二是中药制剂，你们要去医院看病，如果开的是中药药方，最后要把这些中药的颗粒煮成中药，这是一个。我刚才没有讲，溶喷布现在都是人工在电子显微镜下测量观察粗细，还没有比较好的人工智能方法，因为这个事情来的比较急，短期内没有厂家做这个东西，通过AI视觉来自动的检测溶喷布，自动输出指标，现在全都是人工的看。

    第二，这个中药在煎制过程中，除了按照时间和文火武火煎制以外，在最后的时候还要把中药浓缩一下，术语叫收汁，罐子上有刻度，最后要把液体浓缩，浓缩到一定程度把这个药在机器下面进行封装。目前，全都是用人工的方式，人工方式可能一个人看很多台机器，也不可能一直在这盯着机器，所以相对来讲都是设定中药熬制的时间，凭借经验加多少水，有时候水会多，有时候水会少，如果水少再加一点水，如果水少可能装够7天用量的药包以后，剩下的药汤就倒掉了，目前都是人工操作的。

    第三个，这有一个锯，自动锯金属的圆柱，切成一片一片的。比如切到某一片，锯的锯齿崩了，或者材料有杂质，各种各样的原因导致某一片出现问题了，机器本身还会自动往下切，它不会停下来也不会修改，也不会怎么样，就是你设定一个厚度，如果吃过涮羊肉一样，一刀一刀往下切的。

    最后一个是CNC加工的机床，也就是所谓的数控机床，这个是精度很高的，价格应该是以百万元计算的，应该是精度可以到微米级的，但是如果这个精度要达到微米级，需要我们把它只能放在一落，不能放在楼房里，并且一楼的厂房还要在地下，灌很厚的水泥才能保证绝对的稳定，不会有像楼板的震动，一般的震动不会影响精度，实际如果放在楼房或者水泥填的不够，哪怕是旁过一辆卡车都会有影响，这是几个场景的案例。

    如果没有视觉识别的时候，大家可以想想，晚上睡觉的，比如在宿舍或者家里，在伸手不见五指的夜晚，你要起床上厕所的话，如何在不开灯的情况下找到厕所呢，肯定是用手扶着墙一步一步摸过去，凭记忆中下床，通过一系列的操作，你才能找到厕所的位置对吧。如果有一步，比如应该向前走三步，只走了2.8步，再转的时候可能就会撞到厕所的门，只要你的行动轨迹中有任何一点的误差，你都会累计到最后到达目标的偏差都会变得很大，特别是初始情况的误差。其实现在所有的这些没有视觉能力的机器，就算它的定位精度很高，其实都是有点像盲人走路一样，就是说在不断地丈量，你跟一些参照系的尺寸。还是晚上上厕所，你拿一个GPS定位或者拿尺子丈量和墙壁之间的距离，一步一步找到厕所，现在多数的工业设备都是这样进行的。所以，在这种情况下，如果你要想提高精度，你就需要更好的尺子，更好的定位系统，你可能用激光定位、声波定位等等一系列的设备要加上。但实际上只要你眼睛能够看到，有一个小夜灯，哪怕微弱的灯光可能就会很快在几秒钟内找到厕所的位置。只要是仅仅一点点的视觉能力，可能就不需要很高的机械设备在机械精度上的投入就可以达到同样的精度。窘相你睁着眼拿一杯水，你的手臂就算有点颤抖也可以拿到水，但是如下闭上眼睛，把水放下以后，再想拿起来，全靠之前的记忆，如果原地转了360度一圈，你再拿这杯水，很有可能手会落空。

    其实视觉能够给机器在定位也好或者精度方面都能够提高很多，像刚才说到的CND的机器，如果达到很高的精度就要用非常好的电机，非常好的传动系统，还要有各种的对刀仪，甚至有温度传感器，如果温度发生变化还要进行温度的补偿，因为有热胀冷缩，有这些东西才能达到加工的精度。但如果只要有视觉呢，就像你睁着眼睛拿东西一样，直接就可以拿到，所以视觉是给了一些新的机会。就是说有了视觉，不光是以前的传统的工业上的视觉识别，还是现在这两年新出现的AI的视觉识别，就像生物进化有了眼睛一样，可以对设备的精度要求就可以不太高，只要我的摄像头的精度足够高，定位足够准确，机械油一定的分辨率，它就可以找到这个定位，哪怕是冬天和夏天温度不一样，热胀冷缩系数不一样，都可以找到精确的定位的位置。

    还有一个，面对面前的适应能力更强。还是用晚上找厕所这个例子，如果路中间有一个桶，有一个东西在那，只要有视觉能力就会绕开它或移开，但如果没有视觉能力很可能会撞上。既然机器有了视觉能力，加工完的质量检测也会变成理所当然的了。

    咱们再说一下传统工业里使用的视觉算法和现在AI算法的区别。以前的视觉算法主要靠像素比对的方式，如果大家有进行图像编程可能知道，图像都是三个颜色，靠比对像素，也可以是RGB也可以是YUV，也可以是其他的色彩模型，靠比对像素来判断物体是不是这个物体，或者说这个物体的尺寸，或者一些其他方面。所以，这种编程方式比较复杂，至少一个程序员不仅仅是要会编程，还要了解各种色彩模型，还要知道各种几何算法，包括一些图像匹配的算法，就是很多的知识你才能开发传统方式的视觉的软件。如果你们拍照片就知道，同样一张白纸，在白天日光下拍是白色的，晚上拿到室内的光线，如果家里灯光偏冷是蓝色，暖的话是黄色，读出来RGB的值就不是纯白色，或者偏黄或偏蓝，这是白平衡的问题，虽然可以纠正，但是或多或少还是有一些偏差。有颜色的偏差读出来RGB值就是不一样的，所以你比对RGB的值就会有误差，就识别不出来。所以传统工业上图像识别方法都是对相机，对镜头，对灯光要求很高的。前两天我听一个朋友说，他们工厂以前花了几十万的视觉质检系统，由于灯光坏了，换了一个灯泡，当然不是我们一般见到的灯泡，灯泡就两三万块钱。为什么呢，首先这个灯泡一定要白平衡非常准确，而且亮度也是非常准确的，比如在它的灯泡使用周期内，步入两年三年五年，光线是不能衰减的，这些才能保证用工业相机拍出来的相片，RGB的值是始终稳定的，如果光线绳检，RGB值变了，再进行像素比对的时候就识别不出来了，这也是以前视觉识别软件非常非常贵，因为开发很贵，相机很贵，灯光很贵，镜头也很贵，甚至镜头要经常擦，比如在高的粉尘下都无法使用，后面我会有一个视频专门讲拍相片即便不准确，AI算法也可以比较准确的识别。

    以前传统的视觉算法还有一个最大的问题，如果咱们今天比如进行了一个某一个型号的电容质量检测的模型，如果你过两天换了另外一个型号，尺寸变了，形状变了，算法模型要彻底重新开发的。所以，一般比较通用的软件要有大量工程师在前期进行大量的行业的调研，比如开发这个软件是只用于线路板焊接贴片的，就要各种元件库都要事先在算法上进行适配，所以工作量很高。并且如果将来有新的元器件诞生的话，还需要软件工程师、算法工程师继续调整识别模型。

    近几年由于硬件的计算速度发展，所以我们有了AI的算法，也就是现在比较普遍的卷积神经网络算法，它对视觉识别一下把开发变得简单化了，也就是说把你应用软件开发和识别模型开发分开了，识别模型只需要做图像的标注和训练就可以了，即便不会代码的人也可以做这项工作。几乎这一部分开发效率是很高的，不能说对人员的要求低，而是进行标注的这个人不需要懂得软件的原理，也不需要懂得如何写代码，不需要是软件工程师，需要他是行业的专家或者行业工程师，比如机械工程师或者质检的工程师。而且还有一个好处，我们只需要在软件里加一些简单的代码，可以将后续在使用过程中新发现的问题加入到AI算法数据集里，对这个算法进行迭代，这样我们可以使得AI识别越来越准，并且这个过程也是很简单的，只需要流水线工人发现某一次识别不太准，他可能直接只需要点击鼠标两三下就可以把这个图片准确的信息提交到图片集里，然后你再把模型重新训练一遍就可以了，这个就大大简化了你的软件在后续发现问题的时候迭代的方式，实际迭代在软件里是很重要的事情。因为没有软件能够在最开始就能够做的很完美，但是你只要能够迭代，你不断的发布，1.1、1.2、1.3版本，一年下来如果你能不断更新100个版本，那一定会非常好的。就像小米的手机，最开始是每个星期发布一个版本，像现在几个比较大的应用，包括抖音、支付宝、微信，微信可能更新比较慢一点，都在不断地更新进行迭代。但是以前工业算法软件迭代是非常慢，可能几年才会迭代一个版本，大概就是这样。

    先给大家看一个视频。

    这就是一个很简单的机械臂抓取物体应用的案例，也算一个DEMO。它有一点，你们可以看到我使用的是晚上昏暗环境下，用一个台灯的光源，不需要环形灯或者柔光灯进行补光，并且有很长阴影也不会影响抓取精度。大概我训练的模型里，我在EasyDL训练的时候只用了三四十张图片，就可以在晚上和白天都可以精确的抓取同一个物体，不需要很多的图片就可以。我刚才看到流言，有一位小伙伴说，数据集的问题，正好这里也讲到，EasyDL它比较好的呢，你最开始可能只需要标注10张相片模型就可以开始训练了，而且训练出来效果还挺好的，mAP指标能达到90%以上。比如我第一次训练晚上用台灯牌照的情况，用10张相片就可以了，第二天是在白天日光情况下识别就不准了，但是当软件识别不出来的时候，软件自动把这个相片传到EasyDL数据集里，自动标注，我的数据集就可以不断累计，只要识别不出来的相片就传到数据集，不断累计，这是EasyDL比较方便的地方。EasyDL还有一点，它有一个智能标注的功能，如果我没记错的话，当一个物体标注超过40次的时候，就可以启用智能标注了。比如我后面积累照片已经到500张了，但大约只有前几十张是手工标注的，后面都是智能标注，只需要人工看一下画的准不准就可以了。所以在开发和验证阶段，可以用特别少的照片就可以了。我跟别人交流的时候，很多人一上来就是标注500张、800张，甚至几千张的照片，我跟他们说用EasyDL可能10张照片就可以，你在识别过程中把不准确的，写一个简单的代码把它传到数据集里就可以了。

    还有一点，EasyDL有一个特点，它是一个定制识别的模型，它可能和之前接触的通用模型不一样，比如拿手机识别，这是一本书或者一只猫、一只狗，和这种情况不一样，因为在工业场景中，通常是在固定的环境下，比如只在这一个机器或者检测的工位上，一个模型我只需要辨别这一个物体或者几种情况就可以，我不需要把所有用到的物体都集中在这一个模型中，所以它是定制识别，就很少受到模棱两可情况的干扰，所以识别精度能够更高。

    EasyDL还有一个好处，你只要训练一个图片集，可以有多种部署方式，从比较简单的云端计算，到用CPU计算也可以，显卡计算也可以，还有专门的软硬一体的方案。

    我一个一个说，云端计算有一个好处，我周围很多在工厂里的工程师他们不太习惯云端计算，觉得云端计算不稳定，或者万一网络或百度出问题怎么办，我就用这样一个方法问他们，你看看家里的洗衣机出问题多还是百度或者抖音或者微信这些平台出问题多，实际用云端计算比自己搭建服务器要稳定多，一年7×24小时运行没问题。并且很容易区分是哪里的网络出问题，自己排查就可以了。还有一个好处，无需搭载运行环境，只需要调动HTB接口就可以了，返回也是（英文）的数据。

    本来PPT是前两天写的，当时EasyDL专业版还只有四个神经网络，刚才主持人说，今天我看了一下到7个了，主持人刚才说到12个神经网络了，你可以拿不同的神经网络试，哪种神经网络更符合你目前模型的需求，比如你需要速度更快还是需要识别精度更高，定位更准，你可以拿多个网络试。但是你要自己搭建多个网络平台就很麻烦了。

    还有一个东西也很方便，升级是很方便，这个大家都知道。滚回也很方便，因为有可能你训练出来一个模型，你再部署到升级环境中，发现有问题，有些情况下它没有辨别出来，你可以很简单的在云端几步滚回到比如现在是V4版，回到V3版也是可以的。它是按使用量收费的，所以计费方式比较灵活，用的很少几乎就不花钱了，也没有硬件的投入，并且你拿单片机，如果是X86，有网络连接的能力，就可以直接调用接口，这都可以。

    再说一下CPU计算，任何人只要有电脑就可以用CPU计算，只不过慢一点。我这边计算可能是两到三秒一张图片，比云端计算还要再慢一点，我感觉。

    显卡计算会比较快，而且显卡有一个优势，第一可以买二手显卡，你也可以买新显卡，用两三年以后可以二手出掉，所以显卡的硬件资源很多。只不过目前百度这边的EasyDL只支持N卡，还不支持A卡，如果你要进行视频的识别，你需要很高帧率的识别，你可以用显卡也可以用水冷的方式，这个就跟前两年挖币是一样，肯定知道显卡散热的各种各样的方式。

    还有百度VMX加速卡，特点就是功耗低，能够在比较低的功耗下提供相对比较高的运算能力，后面会有百度专门的高级产品经理详细介绍这两个产品。我只说一下我自己的体验，我觉得这个东西比较适合用在树莓派或者是无人机、小车，比如你跟随一个小车，用这个卡很方便，而且很节能，对电池要求也不高。

    后面这个FZLite这个卡本身就是LINUX主机，里面预装了系统，只要把这个模型拷进去再进行编译和部署就可以了，识别我一般都用的最高精度的识别，也就600多毫秒，1秒钟能识别接近于2张的速度，如果我是做一些定位的应用，基本上够用。并且后面这两种里面都包含序列号，也就是说你买了这两个卡以后直接就可以用，而且是无限制使用，不需要额外再付费，这是我自己觉得是挺好的，性价比挺高。

    再给大家看一个视频。

    这个是我自己做的机械臂焊接的视频，因为我用的是比较便宜的机械臂，大概是7万多块钱，它是七轴的臂，如果了解的就知道，七轴的臂比六轴差很多，可能会差零点几毫米，在焊接的时候造成焊锡质量下降，所以加了一个简单的摄像头，就是一般聊天的摄像头，一百多块钱，用百度的EasyDL就可以进行定位，如果这边可以看到红色就是用视频视觉定位识别出来位置，并且如果你们刚才仔细看视频，它有些地方是没有识别出来的，因为我的光线比如是晚上拍的，没有识别出来，它就会自动传到图片集里，后面运行起来，我定位劳动的强度是降低了很多。

    再说一下训练的时候，像这样的照片传到EasyDL上，我也遇到过周围的人用EasyDL的时候，他们拍的照片和实际应用使用的照片是不一样的，比如拿手机拍了一些相片就传到模型里进行训练。但他们实际使用的时候是用机械臂上的相机进行拍照，最后训练出来效果都不太好，就觉得AI算法不如以前工业级的识别软件好用。最后我一看他们图片集，发现他们训练用的图片和实际使用的图片是不一样的，大家要注意一下。另外，如果你是作为定位的应用，在EasyDL里训练的时候一定要使用高精度的选项，而不要使用低精度，我自己使用的时候会有2%到3%左右的偏差，我是按像素距离算的，你定位的时候会有一个偏差出来，这样定位可能就会不准。当然如果是无人机或者小车或者物体辨别这样的模型，肯定用这个低精度的就可以了，因为它可以提供更好的速率。

    训练完了以后EasyDL会给一个训练的报告，这个报告里会有一个mAP值，如果在工业环境下，我自己感觉如果低于90%可能性不太高，因为都是定制环境，并不是一个自然的环境，我训练了很多都能在95%甚至98%以上。不同的标注里可能有错误识别的图片，有的是多识别，有的是错误识别的，有的是漏识别的，这些图片建议大家一定要看一下，因为有很多时候是标注错误。其实这也是我说的，标注这个工作大家不要包给外包，或者包给廉价的工人做标注，因为标注这件事直接影响到整个系统运行的效果，如果你标注的不太认真，就会认为AI不好用，但是99%的问题全都出在标注这里，尤其是标注错误是很常见的问题。

    最后在焊接完了以后，对线路板再进行一次拍照，把好的焊点和不好的焊点都识别出来，如果所有焊点都是好的，那就是一个绿颜色。这边有一个红色的焊点就不好，它就会有一个报错，目前我还没有做不良焊点的整理。如果是方向的问题，直接用两个进行定位就可以了。

    再说一个案例，就是小龙虾的测量，如果你们看了罗永浩的直播，罗永浩在第一次直播的时候卖的小龙虾，大家普遍觉得比较小，我也买了，我就用AI的算法对小龙虾进行了测量，测量物体大小的时候有两种方法，一种是测量同时加一个标注物，你给它一个标准尺寸，给你要测量物体一个参照。还有一个方法，比如相机镜头和被测物体的距离全都是固定的情况下，也可以直接把像素尺寸转换成实际的物理尺寸，直接转换也是可以的，你一定要先解决这个才可以。

    给大家看一下这个视频。

    大家可以看到，因为这个镜头是固定焦距，本身不是测量物体用的，我是给线路板拍照用的，所以是微聚焦，在AI情况下也可以用虚焦，这个也可以识别出来，并且是钳子部位和小龙虾身体部位都可以识别出来，不会搞混。这个是小龙虾训练出来的模型的mAP值，我用了不到20张图，识别率都可以达到100%。这个是另外一个螺母和垫片，mAP值也可以达到100%。每一个大概是两到三个标注的项目，相对来说识别就很多，如果是几十个甚至上百个标注项目的时候，可能识别率就不会这么高了，建议特别在工业环境下，把它分解成不同的模型，每一个模型就识别某几种物体，你用一个总的模型来分辨，再用细分的模型进行每一个物体的单独的识别。

    有两个体验，每个人都可以做一下，而且是不需要懂代码，不需要编程就可以体验，一个是饼干的质检，大家可以当成是饼干公司的工程师，在生产线上进行质检，可以找任何品类的饼干，掰开也行揉碎也行，拍不同的照片，传到图片集里进行标注，比如我这里把碎开的饼干和缺一块的饼干进行不同的标注，不同情况可能后续的工序进行不同的处理，碎开直接包到包装里了，如果是缺一块可能就要扔掉或者处理掉。训练的时候可以选择高精度算法，专业版也可以选择YOLO网络，你还可以看报告，EasyDL里可以验证，可以拍一些非图片集里的照片判断一下你识别的是否准确，如果不准确就再把这些新的照片也加进去识别，再重新训练一下模型就可以了。

    还有一个小试验，你回家或者去饭馆找一把筷子，把每一个筷子都进行标注。

老师：感谢无魂胜有魂老师的分享，回归初衷，我们训练模型的目的是为在实际项目中使用，而现在实际项目部署方式大概有两种，一种是公有云部署，一种是私有化边缘化部署。

公有云部署最大的优点是方便、省心省力。它可以进行集中式托管、有网络即可接入、无需搭建环境、通过API调用，可以说是非常便捷。但公有云也有存在很多限制，比如数据安全、网络稳定性、流量带宽成本等问题，所以许多项目真正落地都是通过边缘部署这种方式，更加的实时、稳定、方案可控。

下面我重点介绍下EZDL的边缘部署硬件EdgeBoard 

EdgeBoard是百度面向嵌入式与边缘部署场景打造的硬件加速方案，适用于机器视觉智能化监控与分析，具有高性能、低成本、使用简单等三大优点，可无缝兼容EasyDL模型训练平台。我们和世界最大的芯片厂商intel&FPGA芯片领域最大的厂家赛灵思合作，打造了两个系列硬件产品---FZ系列和VMX系列。硬件形态上有盒子形态、计算卡形态、也有加速卡形态。

下面是EasyDL&EdgeBoard软硬一体方案的几张小图。我们可以看到有盒子、计算卡和加速卡三种硬件形态，他们的算力分别是3.6T/1.2T/1TOPS，最便宜的型号VMX只要699元。这三款EdgeBoard已经对EasyDL图像分类/物体检测模型做了深度适配可应用于工业分拣、视频监控等多种设备端离线计算场景。

第一个是计算盒方案，是一款微型的边缘AI服务器。他有FZ5和FZ9两个型号。FZ9目前在折扣优惠中，FZ5含license只要4169元。单看解码能力，FZ5版本支持8路1080P解码，FZ9版本算力高达3.6TOPS，含预处理耗时，resnet50模型推理全流程可以做到60帧每秒。在满足实际应用场景需求的前提下，相较于GPU服务器，他的价格做到了20倍的节省。计算盒的体积也特别小，长宽高只有12*10*5cm。质量只有200多克。特别易携带、易部署，功耗仅仅只有10-25W。如果我们有物体检测分类相关的项目部署，我特别推荐买它，非常适用于视频监控场景、边缘化部署。比如最近国家在推的名厨亮灶智能监控工程，一个餐厅后厨2-4个摄像头，配上一个盒子，在EasyDL上训练好模型后，即可直接使用，具有非常高的性价比和实用性。再比如电力施工监控，有些施工场所人迹罕至，交通极不便利，需要人工背负设备，并通过移动电源供电，这款盒子质量2-3百克，功耗低至10-25w，就非常合适。

大家可以通过二维码了解更多关于这个产品的信息。

    第二个产品硬件是FZ系列的lite版，更低的尺寸、重量，也做到了更低的价格，含EasyDL license只要1179元起。目前在FPGA实现的加速方案硬件领域内，很少有能和FZ3 Lite做到品质价格相当的产品，可以说是业界良心，当之无愧。这个价格也适合开发者、高校师生用来教学学习。Lite版自带linux系统，有丰富的拓展接口，比如PCIE,JTAG,UART,GPIO等接口，非常适合用来打造智能化设备，比如智能抓拍机、智能菜品识别电子秤等，可以作为这些设备的主控板，在部署模型的同时，也能用来开发一些轻量型的业务程序。如果你想用来开发学习、打造智能化设备，推荐买它。同样，大家可以通过右下角的二维码了解更多硬件产品信息。

    第三个型号，刚才无魂胜有魂老师介绍过，就是我们的这款VMX加速卡。采用了intel myraidX芯片方案，0.5-2.2W功耗做到了3TOPS综合算力，1TOPS神经网络加速算力。极低的功耗，4CM长宽极低的尺寸，通用的typeC接口，非常适用于存量设备的智能化升级。VMX是一款协处理器，它通过typeC接口连接宿主机，可支持linux/window等宿主机，对安卓系统我们也在适配中。含EasyDL SDK 699元的低价，不仅可以买来开发学习，插上个人电脑，就可以体验从模型开发训练到部署的整个流程，是AI学习利器。也可以用在存量设备的智能化升级里，无需更改设备，只要有usb或者pcie接口，就能平滑实现智能化升级。

 

    好，这一页主要是把刚才讲的三个硬件的一些相关的参数放到一块进行对比。EdgeBoard硬件形态形成了比较好的产品矩阵，普适于各种场景部署，大家可以扫描进行更多的了解，也可以在QA环节进行提问。

    EasyDL与EdgeBoard软硬结合方案，极大的降低了AI开发应用门槛。我们只需要几个步骤就可以轻松上手EasyDL软硬一体方案，第一步在EasyDL选择对应的硬件方案SDK进行下载，如坐下有，下图所示，选择EdgeBoard硬件方案。第二步可扫码购买或者搜索购买EdgeBoard软硬一体方案，购买后可通过AI市场订单详情或者EasyDL控制台获得序列号，之后按照文档进行部署、激活、调试效果，短短几个步骤非常简单。

    好，我的介绍就到这里，接下来是QA环节，大家有问题可以给我们流言。

 

Q：机械臂如何视觉算法带动机械臂运动，如何对机械臂运动方向进行预判提高控制效率？

A：实际上我所有在机械臂的视觉识别都是在机械臂停止的状态下拍的照片识别的，并不是实时的视频的识别。也就是说我并没有做运行方向的预判，因为本身我用这款机械臂它是碳纤维集成的机械臂，比铸铁的机械臂钢性差一些，有一些震颤，如果在运动中识别精度是没有那么高的，因为有一些抖动。好像拿着钓鱼杆，把摄像头放在钓鱼杆前面，拍出来的照片和运动轨迹可能不一样，所以我并没有做这个运动轨迹和图像识别的适配，我是靠多次识别进行的，机械臂逐渐的逼近要拿取的物体，也是解决了镜头机变的问题。最开始离的比较远，变形比较大，但是用三四回逐渐逼近物体，放在图片的正中间的时候我再进行抓取，这样也不用很复杂的算法就解决了，等于是一种暴力计算的方式来做的这个。这个问题就是这样。

 

Q：过程有一些同学问到软硬一体方案能不能跑Paddle其他模型？不是EasyDL这种方式？

A：答案是可以的，我们做的EdgeBoard这套方案是为飞桨和EasyDL专门定制的硬件，支持飞桨和EasyDL。后续还支持可视化部署。

 

Q：另外一个问题，计算机和加速卡有什么区别？

A：这里我补充一下，我不知道这个问题是不是想问计算卡和加速卡有什么区别，FZ3是带LINUX主控系统的，可以直接理解成一个小型电脑，在上面开发业务程序，进行业务控制。加速卡其实是一款协处理器，需要通过宿主机进行工作，和宿主机之间进行数据通讯，还有加速相关程序的调用。所以，我们往往说这个加速卡是能够给设备带来平滑升级的，设备不需要替换它的主控板，只要有相应的接口就可以使用我们的加速卡，然后把EasyDL的模型、Paddle模型进行部署和调用。

 

Q：有同学问，模型可以直接推进到设备里吗？

A：现在的方案是，我们需要在EasyDL上进行下载的操作，这个操作下载到个人电脑上之后，可以通过文档里提供的部署方式，拷贝到设备里进行部署，这是一种。同时，我们也在不断地优化这些硬件的易用性，近期在开发EdgeBoard管理系统，就是在设备的内部，可以做到可视化的把SDK通过界面操作部署到硬件里，并且这套可视化系统可以很好和摄像头进行联动，通过视频的地址，网络摄像头的地址，可以把整套流程跑起来。

 

Q：还有同学问热量分布如何，散热有什么要求？

A：这个我回答一下。其实一个主板或者开发板它最主要的功耗的元件在主芯片，目前VMX这款卡我们做到0.5W到2.2W功耗，所以在售卖的时候基本上不需要带散热片甚至散热器，当然说局部温度可能会高一点，但是在实际的应用场景里我们可能会放到设备的腔体内，会做一些结构上的连接，让它更好的通过腔体散热。FZ3Lite这款我们配了风扇，实际功耗是5到12W，很多时候不用风扇，我们配一个铝的金属散热片或者外壳也能做到被动式散热。盒子的形态散热比较高，我们采用的是主动散热的方案。

    好，问题就是这些，剩下还有一些问题是无魂老师帮忙回答一下。

 

Q：有人问机械臂配置哪一款更好？

A：这个要看你自己，如果你之前没有用过机械臂，建议第一款还是买几千块钱的教育级的机械臂，因为你给机械臂编程的时候，如果编过程序肯定知道什么是BUG，机械臂一样会出BUG，如果机械臂出错了就会碰撞，不管把你自己碰着了，还是碰到桌面或者墙壁都有可能发生损坏，所以如果初次接触机械臂，建议买一个便宜一点的，几千块钱的，不要买上万的，容易伤着人或者把它自己弄坏，几千块钱的力量比较小，就算有一些碰撞，一般自己也不会坏，你多进行一些尝试以后再买一些比较昂贵的机械臂。当然，机械臂这东西上不封顶，几百万上千万的也都有，主要看你的应用，你需要多大的臂展，需要多大负载，这个都不一样。

 

Q：还有一个人问，中药那个是什么原理？

A：中药煎药的罐子是靠人工在侧面看，其实用一个很便宜的USP摄像头对药罐进行监控，就可以读出页面的高度，中药这个比较简单，就是宗黄色的液体，很容易辨别出高度，有两三个参照物就可以计算出一定的容量达到多少，达到多少自动关火，如果做不到联动，至少可以手机报警，弹个窗或者发短信，这都是可以的，这是中药用视觉算法可以实现的功能。

 

Q：问FZLite能不能直接接USB摄像头？

A：这个是肯定的，我们跟全国举办的小车智能比赛合作，我们打造一款智能小车也适用USB摄像头，可以在赛道上实现无人驾驶的学习，所以USB摄像头应用是非常成熟的。刚才讲的有一点误导，重点讲的网络摄像头，因为主要在产业界、工业界或者说现在整个行业内，安防摄像头是占的份额和比例是最大的，所以我挑了一个摄像头来讲，但不代表USB摄像头或者密闭摄像头不支持，这些都可以支持的。

 

Q：这个是不是问VMX计算卡，如何在开发中应用是吧。

A：我回答一下，这个是挺简单的部署操作，咱们把Type-C数据线通过一端连到开发机、宿主机上，比如自己的笔记本电脑或者台式机，另一端连到加速卡，在我们的系统内就可以把对应的，VMX这款SDK下载到笔记本里，然后就可以实现部署调用，就这么简单，不需要另外再开发一些其他的程序。

 

Q：现在只能外接机械臂吗，还是可以外接其他的设备？

A：不一定只控制机械臂，机械臂这个东西对程序员来讲是通用的位置定位的一种设备，你可以这么理解，你可以理解为不是机械臂，而是你给它一个三维空间里的坐标，就可以到这个位置，所以在你研发一个东西的时候，用机械臂比较方便，因为机械臂有六个自由度，运动范围很大。但是如果是量产设备，可能用一些滑轨或者丝杆控制方式成本更低，但是如果研发阶段就用丝杆，可能运动范围就被受限了，所以一般开发过程中推荐用机械臂。所以你的问题是，还可以用在雕刻机或者其他什么设备上，当然可以，雕刻机有两种加摄像头的方式，一种是摄像头和桌面或者和地面相对固定，和雕刻头或者激光头或者画笔，这些东西是相对运动的，这是一种方式。还有一种方式，你把摄像头直接放在像机械臂或者雕刻机放在头部，跟着刀头一起运动，这两种方式都可以，只不过你从摄像头不管用网口还是USB，获取这个头像给AI识别出来的结果都是像素坐标的结果，你要换成鸿渐物理坐标，自己写一个软件就可以了，至于用机械臂还是用其他的雕刻机这样的东西或者CNC也好，都是一样的，只不过机械臂方便与软件工程师把自己的代码变成在现实物理世界中的表达，能够突破屏幕的障碍，这是比较有意思的一点。

 

老师：我补充一下无魂胜有魂老师的回答。对于我们来说，比如在智能手机出现的时候，我们很难想到这个手机能用来订外卖、扫码或者做其他自动化的事情。AI也是同样的情况，我们现在处于智能手机早期的阶段，用AI来做什么，只有想不到，没有做不到。在这些智能设备如何用AI连接，其实只要这个设备的操作系统，它的接口是兼容的，操作系统是适配的，理论上我们可以衔接这一类型的所有的设备，比如说机械臂，比如说无人机，比如说无人小车，比如说垃圾分拣的机器或者说智能的电子秤这些都可以。

Q：还有同学问VMX能不能支持树莓派？

A：刚才的的问题回答了一半，我们树莓派支持Windows，有Type-C的接口就没有问题，大家如果想详细了解，可以扫描刚才的二维码，或者在AI市场找到商品页，底部有每一个硬件的使用文档，里面详细介绍了硬件的适用范围和使用的步骤和注意的重点。

 

主持人：好，时间差不多了，QA环节就到这里，感谢两位老师。

    现在给大家介绍一下软硬一体方案推出新的优惠政策，假如您现在想尝试一下EasyDL软硬一体方案，或者未来能用到，可以在5月13到6月13购买任意EasyDL软硬一体方案，可以获得专业版脚本调参等价训练时长。比如购买一套EasyDL-VMX加速卡软硬一体方案，699元，可获得软硬一体方案一套+专业版脚本调参26小时GPU-V100训练时长/32小时GPU-P40训练时长/ 41小时GPU-P4训练时长。换算一下约等于五折优惠，也是史上最低，是前无古人后无来者的优惠政策。

    本此课后作业，使用EasyDL专业版 图像分类/物体检测模型训练检测模型

脚本调参/NoteBook方式任选训练数据可以选用老师提供的主题，或采用自选数据。

    提交：1-模型信息等，参与有奖评选

             2-读书笔记、使用心得、使用教程、场景方案介绍等文章，在活动贴留言，参加优秀文章有奖评选。

    综合模型数据质量、效果、应用能力等评选优秀作业，三节课后整体评选，奖励：

    最佳应用奖，价值千元百度自研EasyDL软硬一体方案（VMX/FZ3随机发送）

    优秀作业第1-2名，奖品京东卡1000元

    优秀作业第3-4名，奖品京东卡800元

    优秀作业第5-6名，奖品京东卡500元

    优秀作业第7-10名，奖品百度网盘超级会员季卡

    最佳布道师3名，分享课堂笔记、使用感受或教程、方案等，奖品百度网盘超级会员年卡

    早鸟奖1名，按照要求第一个提交作业学员，奖品百度网盘超级会员月卡。

    下周一我们晚上七点有一个直播，主体是EasyDL助力企业加速转型，这是我们企业场景的实战演练。5月20号迎来WAVE SUMMIT，这是2020年飞桨深度学习的开发者峰会，算是年度非常大的峰会，会介绍信产品上线和新功能更新。5月21号周四开始安全生产主题的直播课，第一节首先会是是智能数据服务平台EasyData支持智能云秤一站式数据处理。

     想要继续了解EasyDL直播课的小伙伴添加小助手的微信，并备注“安全”哦