Normalize与BatchNorm的关系
收藏
在图像分割等任务中,常用Normalize最输入图像进行标准化,而许多网络结构中,卷积之后要加上BatchNorm对卷积输出进行批量归一化
看过一些他人的讲解,感觉还是对Normalize与BatchNorm区分不开,两者作用有什么区别吗,可以只使用其中1个吗(有用unet跑过几次实验,但结果好像不太稳定,也看不出太多区别)
希望大佬帮忙解答下
0
收藏
请登录后评论
都是正则化,只不过算法不一样
那是不是可以只使用其中1个,不必2个都用呢
可以看一看这个帖子
https://buptldy.github.io/2016/08/18/2016-08-18-Batch_Normalization/
bn层每个卷积层或全连接层后可以加
都是为了加快优化参数,有正则化的功能
一般情况都会用吧
好的,谢谢大佬
谢谢大佬,我学习下
BN可以看作是在原模型上加入的“新操作”,这个新操作很大可能会改变某层原来的输入。当然也可能不改变,不改变的时候就是“还原原来输入”。如此一来,既可以改变同时也可以保持原输入,那么模型的容纳能力(capacity)就提升了。
学习
这样呀