首页 飞桨领航团 帖子详情
神经网络训练过程的超参数调节
收藏
快速回复
飞桨领航团 文章AI达人创造营 1193 0
神经网络训练过程的超参数调节
收藏
快速回复
飞桨领航团 文章AI达人创造营 1193 0
模型选择: 解决一个具体问题时,先看PaddleHu,再看PaddleX能不能实现,如果前两者都不行,则考虑PaddleD等模型库。
每个神经网络都会有最佳超参数组合,超参数调整的主要内容有:卷积核核大小、神经网络层数、激活函数、损失函数、所用的优化器(梯度下降、RMSprop)、批大小、训练的 epoch 等等。
  • 学习率:学习率过大会加快收敛,但是可能导致无法收敛,学习率过小,收敛会很慢,但是会收敛。
  • 网络结构:不同的问题需要适应自身的网络结构,并不存在能够在所有的测试集中带来高准确率的标准网络架构。建议在已有的成熟结构基础上,进行适当的改进。例如:对于图像识别任务,有 VGG net、Resnet、GoogleNet 网络等。根据自己的需求做一些调整。
  • 优化器和损失函数:可以自定义损失函数。常用的优化器有 RMSprop、随机梯度下降和 Adam。分类任务常用的损失函数是类别交叉熵。回归任务为均方差。
  • batch_size批大小和 epoch 次数:批大小被设置为 8、16、32、64、128、256……epoch 次数尽量大于100,但不至于太大。
  • 激活函数:激活函数映射非线性函数输入和输出。正确使用激活函数极其重要,

根据个人尝试,发现在训练过程中调节激活函数、损失函数、优化器、batch_size、epoch等对训练效果的改善很不理想,只要前期将这些参数设置合理,后面再训练的话,真正对能对训练效果起较大影响的是改变网络结构。

0
收藏
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户