首页 Paddle框架 帖子详情
训练过程中如何固定网络和Batch Normalization(BN)? 已解决
收藏
快速回复
Paddle框架 问答模型训练深度学习 852 1
训练过程中如何固定网络和Batch Normalization(BN)? 已解决
收藏
快速回复
Paddle框架 问答模型训练深度学习 852 1

训练过程中如何固定网络和Batch Normalization(BN)?

旧鸱c_
已解决
2# 回复于2021-08
对于固定BN:设置 use_global_stats=True,使用已加载的全局均值和方差:global mean/variance,具体内容可查看官网API文档batch_norm。 对于固定网络层:如: stage1→ stage2 → stage3 ,设置stage2的输出,假设为y,设置 y.stop_gradient=True,那么, stage1→ stage2整体都固定了,不再更新。
展开
0
收藏
回复
全部评论(1)
时间顺序
旧鸱c_
#2 回复于2021-08

对于固定BN:设置 use_global_stats=True,使用已加载的全局均值和方差:global mean/variance,具体内容可查看官网API文档batch_norm。
对于固定网络层:如: stage1→ stage2 → stage3 ,设置stage2的输出,假设为y,设置 y.stop_gradient=True,那么, stage1→ stage2整体都固定了,不再更新。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户