关于卷积神经网络注意力的问题?
收藏
1. 看到non-local的注意力机制,问什么注意力权重分支和 input 分支相乘用的是 矩阵乘法(matmul)?? 而 SENet 中,注意力分支和 input 相乘用的是 普通乘法(element-mul)??可能是由于 SEnet 中注意力分支得到的是nx1为的向量。
可能例子举的不太恰当,但就是想问问,为啥 non-local 中用的是 矩阵乘法??
2. 有些不太理解,为啥 input (c,h,w)经过 1x1 conv 后,经过reshape成(hw,1) 在经过sofamax变成概率,非得 转置用矩阵乘法的形式乘以input。 不能直接一对一用element-mul乘吗?
3. 还想问一下,就是input 经过 1x1conv,然后 用softmax,是把1x1conv得到的特征图变成概率模式吗?变成每个像素占得比重是多少?
0
收藏
请登录后评论
我去看下论文,然后回答你
可以看看这篇文章,讲得挺详细的
https://zhuanlan.zhihu.com/p/53010734
深度好文。现在目标检测,图像生成都在用各种注意力方法