首页 Paddle框架 帖子详情
BatchNorm权重初始化
收藏
快速回复
Paddle框架 问答深度学习模型训练炼丹技巧 1619 1
BatchNorm权重初始化
收藏
快速回复
Paddle框架 问答深度学习模型训练炼丹技巧 1619 1

请问class paddle.fluid.dygraph.BatchNorm(num_channels, act=None, is_test=False, momentum=0.9, epsilon=1e-05, param_attr=None, bias_attr=None, dtype='float32', data_layout='NCHW', in_place=False, moving_mean_name=None, moving_variance_name=None, do_model_average_for_mean_and_var=False, use_global_stats=False, trainable_statistics=False)这个BN层不是只有gamma和beta参数?为什么还需要param_attr和bias_attr进行权重初始化呢?如果没有设置那两个,是不是就默认gamma=1,beta=0了呢?还是说想要gamma=1,beta=0还需要进行初始化呢?

0
收藏
回复
全部评论(1)
时间顺序
thinc
#2 回复于2020-05

γ和β是学习的参数,不会默认。

param_attr和bias_attr可以先不用管,影响也不大。

如果想权重初始化,用默认的参数就能有很好的效果

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户