激活函数加在BN层前后有什么区别?
189******30 发布于2020-06 浏览:9433 回复:10
0
收藏

我记得relu一般加在bn层后面。这样做的好处是什么?

收藏
点赞
0
个赞
共10条回复 最后由七年期限回复于2021-04
#11七年期限回复于2021-04

我也来学习一下

0
#10189******30回复于2021-04

就是所谓“预激活网络”

0
#9189******30回复于2021-04

resnet2.0版本里就是先激活再bn的

0
#8189******30回复于2021-04
#7 lmw0320回复
https://www.zhihu.com/question/283715823 这篇知乎上就提到实践证明,BN加在Relu之后效果会更好
展开

嗯,现在我也搞明白了

0
#7lmw0320回复于2021-04
#5 dota一起的有没回复
BN将神经元的输出从饱和区拉到非饱和区,在进入激活函数可以缓解梯度消失和梯度爆炸,放在后面有什么用  
展开

https://www.zhihu.com/question/283715823

这篇知乎上就提到实践证明,BN加在Relu之后效果会更好

0
#6189******30回复于2020-09
#5 dota一起的有没回复
BN将神经元的输出从饱和区拉到非饱和区,在进入激活函数可以缓解梯度消失和梯度爆炸,放在后面有什么用  
展开

好像有论文争论过这一点。

当然主流还是放在激活函数前

0
#5dota一起的有没回复于2020-09

BN将神经元的输出从饱和区拉到非饱和区,在进入激活函数可以缓解梯度消失和梯度爆炸,放在后面有什么用

 

0
#4189******30回复于2020-06
#3 189******30回复
和relu有关系么?加在relu能减少神经元死亡? 其他激活函数用把bn层放前面么?
展开

加在relu前能增加激活的神经元数量么?

0
#3189******30回复于2020-06

和relu有关系么?加在relu能减少神经元死亡?

其他激活函数用把bn层放前面么?

0
#2189******30回复于2020-06

bn层帮助模型收敛,改善梯度问题。加在激活函数前有什么好处?

我记得课上老师提过大家都这么用。

0
TOP
切换版块