首页 炼丹房 帖子详情
模型权值很小可以用 bn 解决么?
收藏
快速回复
炼丹房 问答新手上路 3088 42
模型权值很小可以用 bn 解决么?
收藏
快速回复
炼丹房 问答新手上路 3088 42

做模型时发现有一层模型的权值很小,1e-5 左右,几乎更新不了梯度。这种情况可以用 bn 强行拉回权值分布么?

0
收藏
回复
全部评论(42)
时间顺序
thinc
#42 回复于2020-09
Layer._parameters['weight']

厉害!

0
回复
七年期限
#43 回复于2020-09
Layer._parameters['weight']

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户