【百度技术学院机器学习训练营第二期】-实验作业
Ta的回复 ：(1) input_layer: [32, 32, 3] conv1_out: [28, 28. 20] pool1_out: [14, 14, 20] conv2_out: [10, 10, 50] pool2_out: [5, 5, 50] conv3_out; [1, 1, 50] pool3_out: [1, 1, 50] params = in_features * height * weight * out_features conv1_params: 3*5*5*20=1500 conv2_params: 20*5*5*50=25000 conv3_params: 50*5*5*50=62500 fc: 50*10=500 [图片][图片] with_BN: best_acc: 68.02% no_BN: best_acc: 68.39% 对于简单网络来说，BN的作用有限。 (2) epoch=20 SGD: 48% Moment: 65% Adagrad: 57% Adam: 68% 训练相同次数，在此任务下，Adam收敛最快，效果最好。 因为是分类问题，所以使用交叉熵损失函数。 附图如下：可以看出来Adam收敛最好最快。 [图片][图片][图片][图片] (3) 直接使用数据时，每类500样本时发生过拟合了。 可以考虑数据增强等方式加强模型效果。 (4) 主体占画面比例过小导致。 (5) 层数变深，参数增多，如果样本不够的话很容易过拟合，同时训练时间变长。所以一般用预训练后的模型来finetune。
