ShuffeNet相关知识
收藏
ShuffeNet V1:
ShuffeNet V1是2017年由旷视提出的用于移动端设备的轻量化网络。一般的移动端CNN模型设计思路主要是是两方面:模型结构设计和模型压缩。ShuffleNet就属于模型结构设计,都是通过设计更高效的网络结构来实现模型变小和变快,而不是对一个训练好的大模型做压缩或者迁移。网络得到核心思想是Group convolution和Channel Shuffle,其中Group convolution将卷积计算限制在每个组内,这样可以使得模型的计算量显著的下降,但是 这样也把信息交互限制到了单独的通道内;Channel Shuffle的目的就是为了解决不同组的信息交互的问题,通过Shuffle使得下次的输入来自不同的组。
ShuffeNet V2:
ShuffeNet V2是2018年由旷视提出的用于移动端设备的轻量化网络,是V1的改进版。在同等复杂度下,ShuffleNetv2比ShuffleNet和MobileNetv2更准确。该论文指出了FLOPs虽然是目前衡量模型复杂度的一个通用指标,但是却不完全等同于速度。影响速度的还有内存使用量、模型得到并行程度、部署的平台不同。
四项原则:
1、使用1*1卷积平衡输入和输出通道大小;
2、组卷积要谨慎使用,注意分组的数目;
3、避免网络碎片化;
4、减少元素级别运算;
0
收藏
请登录后评论
赞~
实测Shuffe在肿瘤分割任务上也不总是有用的。还是得分具体任务。多试试。
shufflenet只是使得模型轻量化了,肿瘤分割还没有做过。但感觉使用unet那种结构跟好一点,给深层的语义信息融合浅层的空间信息比较重要。而且个人感觉病灶分割是一个对召回率要求比较高的任务,不应该关注模型轻量化。
赞
基本上所有想降低模型参数量一个很重要的方式就是使用1*1卷积。
这种方式在GoogLeNet、Resnet等网络中使用了,在各种轻量级网络中更是常见。
现在用的比较多的是mv3了
强啊