首页 Paddle框架 帖子详情
为何模型去掉中间层的bias
收藏
快速回复
Paddle框架 问答深度学习 594 2
为何模型去掉中间层的bias
收藏
快速回复
Paddle框架 问答深度学习 594 2

看一些模型代码,发现好多模型都将中间层的bias停用掉了,只用最后一层(有时第一层也加上),这是为了优化么?

0
收藏
回复
全部评论(2)
时间顺序
AIStudio810258
#2 回复于2020-10

一些gan模型,比较新的经典卷积模型比如densenet都是这么用的

0
回复
AIStudio810258
#3 回复于2020-10

我靠直觉推测,反正loss最后加一起更新梯度。网络也就用一两层的bias就够用了,bias偏置没有权重嵌套多少个都是线性的。是这样么?

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户