首页 Paddle框架 帖子详情
Normalize与BatchNorm的关系
收藏
快速回复
Paddle框架 问答深度学习 1366 11
Normalize与BatchNorm的关系
收藏
快速回复
Paddle框架 问答深度学习 1366 11

在图像分割等任务中,常用Normalize最输入图像进行标准化,而许多网络结构中,卷积之后要加上BatchNorm对卷积输出进行批量归一化

看过一些他人的讲解,感觉还是对Normalize与BatchNorm区分不开,两者作用有什么区别吗,可以只使用其中1个吗(有用unet跑过几次实验,但结果好像不太稳定,也看不出太多区别)

 

希望大佬帮忙解答下

0
收藏
回复
全部评论(11)
时间顺序
thinc
#2 回复于2020-08

都是正则化,只不过算法不一样

0
回复
trainer
#3 回复于2020-08
thinc #2
都是正则化,只不过算法不一样

那是不是可以只使用其中1个,不必2个都用呢

0
回复
Fitzie
#4 回复于2020-08

可以看一看这个帖子

https://buptldy.github.io/2016/08/18/2016-08-18-Batch_Normalization/

0
回复
AIStudio810258
#5 回复于2020-08
trainer #3
那是不是可以只使用其中1个,不必2个都用呢

bn层每个卷积层或全连接层后可以加

0
回复
AIStudio810258
#6 回复于2020-08

都是为了加快优化参数,有正则化的功能

0
回复
AIStudio810258
#7 回复于2020-08

一般情况都会用吧

0
回复
trainer
#8 回复于2020-08
一般情况都会用吧

好的,谢谢大佬

0
回复
trainer
#9 回复于2020-08
Fitzie #4
可以看一看这个帖子 https://buptldy.github.io/2016/08/18/2016-08-18-Batch_Normalization/

谢谢大佬,我学习下

0
回复
不败小段哥
#10 回复于2020-09

BN可以看作是在原模型上加入的“新操作”,这个新操作很大可能会改变某层原来的输入。当然也可能不改变,不改变的时候就是“还原原来输入”。如此一来,既可以改变同时也可以保持原输入,那么模型的容纳能力(capacity)就提升了。

0
回复
七年期限
#11 回复于2020-09
Fitzie #4
可以看一看这个帖子 https://buptldy.github.io/2016/08/18/2016-08-18-Batch_Normalization/

学习

0
回复
七年期限
#12 回复于2020-09
thinc #2
都是正则化,只不过算法不一样

这样呀

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户