我记得relu一般加在bn层后面。这样做的好处是什么?
我也来学习一下
就是所谓“预激活网络”
resnet2.0版本里就是先激活再bn的
嗯,现在我也搞明白了
https://www.zhihu.com/question/283715823
这篇知乎上就提到实践证明,BN加在Relu之后效果会更好
好像有论文争论过这一点。
当然主流还是放在激活函数前
BN将神经元的输出从饱和区拉到非饱和区,在进入激活函数可以缓解梯度消失和梯度爆炸,放在后面有什么用
加在relu前能增加激活的神经元数量么?
和relu有关系么?加在relu能减少神经元死亡?
其他激活函数用把bn层放前面么?
bn层帮助模型收敛,改善梯度问题。加在激活函数前有什么好处?
我记得课上老师提过大家都这么用。
我也来学习一下
就是所谓“预激活网络”
resnet2.0版本里就是先激活再bn的
嗯,现在我也搞明白了
https://www.zhihu.com/question/283715823
这篇知乎上就提到实践证明,BN加在Relu之后效果会更好
好像有论文争论过这一点。
当然主流还是放在激活函数前
BN将神经元的输出从饱和区拉到非饱和区,在进入激活函数可以缓解梯度消失和梯度爆炸,放在后面有什么用
加在relu前能增加激活的神经元数量么?
和relu有关系么?加在relu能减少神经元死亡?
其他激活函数用把bn层放前面么?
bn层帮助模型收敛,改善梯度问题。加在激活函数前有什么好处?
我记得课上老师提过大家都这么用。