这应该是我参加的第三个飞桨训练营了,作为职业打工人,真的是挤出碎片时间,断断续续跟着B站学习,一边学一边很纳闷为什么AIstudio里面的课程没有同步上传视频呢~
印象最深刻的是开营第一课,主讲人是杨老师,杨老师的PPT真是简单大气充满禅意,精美的图片,简练的文字。看着PPT,听杨老师侃侃而谈,爽。杨老师首先结合图片举例,介绍了典型的常见计算机视觉任务,依照杨老师的说法,图像分割的基本类别有三种, 第一是语义分割(Semantic Segmentation),把图片中的像素进行分类。第二是实例分割(Instance Segmentation), 可以理解成目标检测和语义分割的结合,第三是Panoptic Segmentation全景分割,这也是2019年提出的新理念,难度也最大。当然,本次训练营讲的是第一种,Sematic Segmentaion 语义分割。 Segmentation,本质上就是pixel in pixel out, 像素进像素出,就是像素分割。 和之前的图像分类不一样,图像分类输出是标签。但图像分割输出往往是像素,图像分割常见于自动驾驶,医学CT扫描, 卫星遥感, 人体不同部位分割等也有不同程度的应用。对于图像分类而言,就是通过卷积、池化加上全连接,拉直然后输出类别,这个图像分类的过程可看成两个部分,第一部分是提取特征,第二部分是分类器。但图像分割是逐像素分类, 则每个卷积池得到的是特征图,卷积之后的大小不变,则得到同样大小的特征图,但每一层保持同样大小则计算量很大,所以图像分割采取的策略是先卷积逐层变小,然后再卷积逐层变大,即从downsampling到upsampling的过程。其中,downsampling的操作和图像分类一致,不同的就是upsampling。故解决图像分割的难点在于两个,一是要确定结构,即downsampling, upsampling的结构,即Encoder-Decoder的结构;二是关键是把全连接变成卷积放大图,但放大图可能会丢失信息,需要做特征的融合。综上所述,语义分割的基本思路小结为:Encoder+Decoder (下采样+上采样)结构确定;(特征点相加,维度拼接)多尺度特征融合;(softmax + argmax)逐像素点分类。
杨老师把图像分割概念解释完后,就开始讲解念技术细节。印象深刻的是关于上采样(即怎样放大图)的三种方法,第一种方法是插值Interpolation, 包括Nearest, Bilinear;第二种方法是,转置卷积transpose Conv, (Transpose + Conv);第三种方法是反池化Unpool (Average unpool; Max unpool)。这三种方法都结合了具体算例,同时杨老师指出Nearest有飞桨API paddle.nn.UpsamplingNearest2D 支持,Bilinear也有飞桨APIpaddle.nn.UpsamplingBilinear2D 支持。这两种方法效果差不多,但实际操作种用Bilinear的更多;反卷积也有飞桨API Deconvolution paddle.nn.Conv2DTranspose支持,但反卷积只能恢复原图大小,不能恢复原有特征。图像特征融合有两种方法,一是特征点逐点相加,二是特征维度拼接。像素点分类也有两种,一是 softmax
二是 argmax。关于图像分割的标准,即如何评价图像分割的好坏,也有两种方法,一种是Accuracy, 即用预测对的像素个数除以总的像素个数;还有一种是IoU, 是用Area of Overlap除以 Area of Union, 大部分论文paper用IoU方法。
最后杨老师介绍了典型网络,第一种是FCN网络,也是图像分割的开山之作, 原作是2015年 CVPR的经典论文, 创新性提出全卷积结构的贡献。 FCN网络全称 Fully Convolutional Networks
基本概念涉及了全卷积,没有FC,像素级分类,将FC替换成Conv;第二种网络结构是UNet网络,典型U型结构,Encoder和Decoder完全对称,特征融合由FCN的相加变为维度拼接,是15年发表于医学刊物的经典论文。第三种网络结构是Deeplabv3p,属于Deeplab系列,有v1, v2, v3等变体,是2018年的经典论文。第四种网络是HRNet网络,发表于2019年CVPR顶会的论文。第五种网络是OCRNet网络,发表于2020年ECCV的论文。典型网络介绍完后,杨老师总结了语义分割任务解决的问题,把代码实战留到了训练营第二课上。
训练营感觉难度最大是顾老师的作业题目“车道线分割”,顾老师(坑姐)讲的很棒,是我个人学艺不精。模型训练过程中要么爆出内存异常,要么运行5个小时后断线,我辛辛苦苦赞起的算力,被坑姐的作业题目给“坑”光了。恍恍惚惚之中,我觉得自己跳进了坑姐的“坑”,沉迷于炼丹之中,而且不能自拔....在写下这些文字的同时,我依然在孜孜不倦的完成顾老师布置的作业。
学习不停,飞桨不止,飞桨帮我开启了一扇窗,让我一窥深度学习的神奇,作为拥有打工魂的打工人,我会坚持学下去的。再次感谢飞桨实战营,感谢飞桨领航团,感谢飞桨PPDE~
哈哈哈,断线了。哈哈
没看最后有脚本么
厉害的,学习了