首页 百问百答 帖子详情
dropout为什么能防止过拟合
收藏
快速回复
百问百答 问答学习资料 306 0
dropout为什么能防止过拟合
收藏
快速回复
百问百答 问答学习资料 306 0

1、类似于模型平均的作用。
在深度学习模型中,一般可以多训练几个模型,然后综合这些模型的结果来进行投票来减少单个模型的过拟合。dropout也可以看作成训练了n个不同连接模式的模型(每个step训练的模型结构都不一样),然后将这些模型进行平均来防止过拟合。

2、减少神经元之间复杂的共适应关系
因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。(这样权值的更新不再依赖于有固定关系的隐含节点的共同作用,阻止了某些特征仅仅在其它特定特征下才有效果的情况)。 迫使网络去学习更加鲁棒的特征 (这些特征在其它的神经元的随机子集中也存在)。也就是说,我们的神经网络做预测时,不该过分的依赖于某个特定的特征,即使该特征被失活,神经网络也需要做出正确预测。

3、随机性的添加¶
dropout具有随机性,使得网络在每次迭代中dropout的神经元不同,因此,可以将神经元之间复杂的联系降低,使得学习到的网络更加鲁棒。且使得优化过程中,可能会避免参数在局部最优处震荡,提高性能。

0
收藏
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户