【百度技术学院机器学习训练营第二期】-实验作业
Ta的回复 ：1.不加BN对简单网络影响有限，三层网络梯度没那么容易消失吧。增加卷积层数能够提升模型学习更多不同“粒度”下图片特征的能力，增加全连接层能够提升模型分类的“非线性能力”以提升分类精确度 。 2.（1）SGD随机抽取数据收敛较慢；Momentum通过累加梯度加速，比SGD收敛快；Adagrad除以历史梯度的平方叠加，使收敛开始加速，逐渐减速；Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率,结合了Adagrad和RMSProp的长处，是入门使用的最佳选择。这些优化算法本质上都是对SGD收敛速度的优化，主要优化模型的学习速度，而非分类能力。（2）交叉熵不但能反应模型分类的准确与否，还能反应其分类匹配的程度用作梯度下降的依据。如果用分类准确率作为损失函数的话，模型可能会优先选择分类准确率更高的参数，而非匹配度更高的。而模型应当通过匹配度来学习图片数据中的分类特征。那些恰好准确率高而匹配度低的参数是没有学习价值的，是干扰。 3.学习充分的模型的准确率在增加数据量的过程中应该呈对数增长吧，增加数据对准确率的提升应当是逐渐减小的。如果是类似于线性的增长，说明当前的数据量对于此能力的模型来说还不够。当然，能力强的模型对数据量的要求更小。我觉得对一个系统来说，性能的上限是数据决定的。好的模型只能更近更快逼地近这个上限。而且只要每天有新的事物产生，就会产生新的数据。所以理论上分类万事万物是不可能的，就像尺子的刻度永远不能超过尺子本身的长度一样吧。但是对实际应用来说，“人工智能”的性能只要超过“人工”的性能或性价比就有应用价值了吧。 4.自己手机拍*-的照片识别率较低。考虑可能是由于拍摄设备的色差，光线等导致。解决思路：对训练模型的数据和预测数据进行相同的灰度化，自动色阶这样的“归一化”处理，使模型更专注的学习图片的轮廓和纹理特征。
