BatchNorm权重初始化
收藏
请问class paddle.fluid.dygraph.BatchNorm(num_channels, act=None, is_test=False, momentum=0.9, epsilon=1e-05, param_attr=None, bias_attr=None, dtype='float32', data_layout='NCHW', in_place=False, moving_mean_name=None, moving_variance_name=None, do_model_average_for_mean_and_var=False, use_global_stats=False, trainable_statistics=False)这个BN层不是只有gamma和beta参数?为什么还需要param_attr和bias_attr进行权重初始化呢?如果没有设置那两个,是不是就默认gamma=1,beta=0了呢?还是说想要gamma=1,beta=0还需要进行初始化呢?
0
收藏
请登录后评论
γ和β是学习的参数,不会默认。
param_attr和bias_attr可以先不用管,影响也不大。
如果想权重初始化,用默认的参数就能有很好的效果