【学习有礼】百度技术学院机器学习训练营第二期作业：
进入训练营实验班级，完成班级作业：猫狗分类实验，并在评论区回答以下问题：
1、网络结构：计算每层网络结构和输入输出尺寸和参数个数。不加BN？更深？每层的尺寸变化？更多结构？
2、尝试不同的Loss函数和优化算法（SGD、Momentum、Adagrad、Adam），观察效果的变化，最好的选择是什么？为什么？
3、尝试不同的样本数量：随着每个类别样本数量由少变多，模型准确率变化的曲线是怎样的？每个类别至少有多少张图片可支撑一个准确率尚可的模型？ 使用图像分类模型识别世界的万事万物是否可行？（自己编写数据读取程序，而不用默认函数；先完成同学可以在班级群内推送代码，供同学们参考）
4、使用模型实践：拍一些身边宠物狗的照片（或网上找），处理成32*32尺寸后试试模型效果，准或不准的原因是什么？
5、【挑战题，可选】VGGNet，ResNet如何搭建？在预测效果和训练时间上有怎样的差异？原因是什么？ （飞桨官网上有参考代码，但不建议马上看）
作业提交截止时间及形式：
截止11月18日中午12点前，跟帖回答作业问题。在跟帖开头请注明：训练营班级+群内昵称（或姓名）以便发送奖励。
奖励：
截止11月18日中午12点前，参加【百度技术学院机器学习训练营第二期】并回答作业的同学：
1、评论点赞前3名的同学分别获得训练营礼包一份（小度音箱Play1个+机械键盘1个）
2、评论点赞第4-5名同学分别获得机械键盘1个
3、老师点评作业，获得优秀作业同学分别获得双肩背包1个
4、评论有奖：按照评论时间从早到晚的顺序，将抽取第5、10、15、20、25、30、35、40、45、50层同学分别获得招财熊1个。
注意：
1、评论点赞前5名要求是回答作业的问题，无关话语不做点赞奖励的计算。
2、如果点赞排名有并列情况，则按照发布时间先后顺序为准，时间早的优先。
3、此奖励仅限训练营同学享有。
最近课看多了，做梦梦见自己的脑子变成个深度学习的模型了，看世界都扭曲了：（
训练营1班+12号袁小白
2：相比较而言SGD好像很慢，原有的Adam较快，我查了资料，这里使用了 调整+动量，调整能够让学习率衰减，使得开始大步走，最后精细调；而动量在一定程度上能加速靠近极点
5：VGG16代码层数高，filter数目大致呈指数递增，所以，训练时间非常长，一晚上才3batch，见没收敛就停了。
ResNet18，使用残差，filter数目较小，虽然比原始网络复杂，但是算力跟的上，acc效果非常好
我看了别人的：利用paddlepaddle中的resnet网络训练人脸验证1:1
其中"input_size"，"batch_size"均改了，net那个函数，返回没有加softmax层，我参考原有网络手动加了
原有网络大致acc：0.65，resNet18现在EPOCH是3，都已经0.59+，有望打败原有网络
网络结构：计算每层网络结构和输入输出尺寸和参数个数。不加BN？更深？每层的尺寸变化？更多结构？
不考虑BATCH_SIZE且只考虑前向过程的情况下，输入images尺寸为[3,32,32]，因为图片为RGB三通道，宽和高均为32。第一卷积池化层参数包括w：[20,3,5,5]，b：[20]，其中20为当层卷积核个数（通道数），3为输入images通道个数（前层通道数），5×5为卷积核大小，第一卷积池化层后的Batchnorm参数包括w：[20]，b：[20]，因为第一卷积池化层有20个通道。Batchnorm会把按通道计算均值和方差来进行正则化。类似，第二卷积池化层参数包括w：[50,20,5,5]，b：[50]，第二卷积池化层后的Batchnorm参数包括w：[50]，b：[50]，第三卷积池化层参数包括w：[50,50,5,5]，b：[50]，全连接层w：[50,10]，b：[10]。因为是10分类，输出层尺寸为[10]。optimizer.minimize(avg_cost)函数输出为元组(optimize_ops, params_grads)，其中params_grads是一个由(param, grad)变量对组成的列表，param是Parameter，即参数，grad是该Parameter对应的梯度值。
感谢反馈，已经修改
我觉得好像发布文章有错别字。 『评论有奖：按照评论时间从早到晚的顺序，将抽取第5、10、15、20、25、30、35、40、45、50层同学分别获得招财雄1个。』 『招财雄』=》『招财熊？』