首页 炼丹房 帖子详情
关于卷积神经网络注意力的问题?
收藏
快速回复
炼丹房 问答头脑风暴 1147 3
关于卷积神经网络注意力的问题?
收藏
快速回复
炼丹房 问答头脑风暴 1147 3

1. 看到non-local的注意力机制,问什么注意力权重分支和 input 分支相乘用的是 矩阵乘法(matmul)??  而 SENet 中,注意力分支和 input 相乘用的是 普通乘法(element-mul)??可能是由于 SEnet 中注意力分支得到的是nx1为的向量。 

可能例子举的不太恰当,但就是想问问,为啥 non-local 中用的是 矩阵乘法?? 

2. 有些不太理解,为啥 input (c,h,w)经过 1x1 conv 后,经过reshape成(hw,1) 在经过sofamax变成概率,非得 转置用矩阵乘法的形式乘以input。 不能直接一对一用element-mul乘吗?

3. 还想问一下,就是input 经过 1x1conv,然后 用softmax,是把1x1conv得到的特征图变成概率模式吗?变成每个像素占得比重是多少?

0
收藏
回复
全部评论(3)
时间顺序
笨笨
#2 回复于2020-10

我去看下论文,然后回答你

0
回复
笨笨
#3 回复于2020-10

可以看看这篇文章,讲得挺详细的
https://zhuanlan.zhihu.com/p/53010734

0
回复
AIStudio810258
#4 回复于2020-10

深度好文。现在目标检测,图像生成都在用各种注意力方法

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户