超参优化

超参数
模型的超参数指的是模型外部的配置变量，是不能通过训练的进行来估计其取值不同的，且不同的训练任务往往需要不同的超参数。

超参数不同，最终得到的模型也是不同的。

一般来说，超参数有：学习率，迭代次数，网络的层数，每层神经元的个数等等。

常见的超参数有以下三类：

网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型等 .
优化参数，包括优化方法、学习率、小批量的样本数量等 .
正则化系数
实践中，当你使⽤神经⽹络解决问题时，寻找好的超参数其实是一件非常困难的事情，对于刚刚接触的同学来说，都是"佛系调优"，这也是一开始就"入土"的原因，没有依据的盲目瞎调肯定是不行的。

2.手动调整超参数的四大方法
我们在使用某一网络时，一般是比较好的论文中出现过的，是证明过的，当然也可以直接套用，然后在这个基础上，调参。

可是如果识别的领域不同，比如同样是LeNet网络，在解决手写数字识别时使用的超参数能得到很好的效果，但是在做眼疾识别时，因为数据集的不同，虽然使用同样的超参数，但是效果可能并不理想。

在<< Neural Network and Deep Learning >>这本书中，作者给出⼀些⽤于设定超参数的启发式想法。⽬的是帮读者发展出⼀套工作流来确保很好地设置超参数。这里我把书上的内容总结一下，再结合自己的思考，与大家共同探讨调整超参数的方法论。

不过呢，目前不存在⼀种通用的关于正确策略的共同认知，这也是超参数调节的"玄学"之处。

1）使用提前停止来确定训练的迭代次数

2）让学习率从高逐渐降低

3）宽泛策略

4）小批量数据(mini-batch)大小不必最优