1x1的卷积层和全连接层有什么区别
鹿鼎记肯定 发布于2020-03 浏览:5050 回复:18
0
收藏

如题

收藏
点赞
0
个赞
共18条回复 最后由q671383789回复于2021-12
#19q671383789回复于2021-12
#9 鹿鼎记肯定回复
可是在1x1前提下,卷积层参数共享,但是全连接的参数是卷积层的“通道”倍啊
展开

建议重新学习一下2维卷积是怎么做的,通道上参数不共享

0
#18fiyen123_回复于2020-05
#17 鹿鼎记肯定回复
生成的参数是channel*w*h个

哦哦,多谢了,我改正!

0
#17鹿鼎记肯定回复于2020-05
#16 fiyen123_回复
卷积层的参数是共享的,比全连接层的参数要少得多,如果是1*1的卷积核,那么这一层参数就只有2*filters个了吧。
展开

生成的参数是channel*w*h个

0
#16fiyen123_回复于2020-05

卷积层的参数是共享的,比全连接层的参数要少得多,如果是1*1的卷积核,那么这一层参数就只有2*filters个了吧。

0
#15进985回复于2020-05

在残差网络里面也用到了1×1,主要是为了匹配维度

0
#14进985回复于2020-05

1×1降低参数数量

0
#13鹿鼎记肯定回复于2020-03
#11 189******30回复
反正resnet上用1x1的卷积而非全连接层。

现在有点理解了,主要还是降维防止过拟合

0
#12鹿鼎记肯定回复于2020-03
#10 阿扁门前一棵松回复
卷积参数在通道上不共享

卷积核的权值共享的吧?那一次卷积不就是能少W x H倍的参数了吗?

0
#11189******30回复于2020-03

反正resnet上用1x1的卷积而非全连接层。

0
#10阿扁门前一棵松回复于2020-03
#9 鹿鼎记肯定回复
可是在1x1前提下,卷积层参数共享,但是全连接的参数是卷积层的“通道”倍啊
展开

卷积参数在通道上不共享

0
#9鹿鼎记肯定回复于2020-03
#8 阿扁门前一棵松回复
参数量计算量无区别,输入输出shape有区别

可是在1x1前提下,卷积层参数共享,但是全连接的参数是卷积层的“通道”倍啊

0
#8阿扁门前一棵松回复于2020-03

参数量计算量无区别,输入输出shape有区别

1
#7鹿鼎记肯定回复于2020-03
#6 189******30回复
道理上还真是这样,不知道具体框架里有没有其他优化。

我的意思是如果效果一样,那我们肯定可以考虑用卷积层去替代全连接极大地减少参数。

0
#6189******30回复于2020-03

道理上还真是这样,不知道具体框架里有没有其他优化。

0
#5鹿鼎记肯定回复于2020-03
#4 189******30回复
打错了。卷积层输入形状没要求。全连接层输入形状是后面输出形状决定的,因为要做矩阵乘法。
展开

那如果全连接层的输出跟输入一样的形状的话,跟1x1卷积层还有什么区别呢?

0
#4189******30回复于2020-03
#3 鹿鼎记肯定回复
你是说卷积层对输入形状有要求吗?

打错了。卷积层输入形状没要求。全连接层输入形状是后面输出形状决定的,因为要做矩阵乘法。

0
#3鹿鼎记肯定回复于2020-03
#2 189******30回复
感觉全连接层对输入形状没要求,而全连接层对输入形状有要求。

你是说卷积层对输入形状有要求吗?

0
#2189******30回复于2020-03

感觉全连接层对输入形状没要求,而全连接层对输入形状有要求。

0
TOP
切换版块