【百度技术学院机器学习训练营第二期】-实验作业
Ta的回复 :网络结构:计算每层网络结构和输入输出尺寸和参数个数。不加BN?更深?每层的尺寸变化?更多结构? 不考虑BATCH_SIZE且只考虑前向过程的情况下,输入images尺寸为[3,32,32],因为图片为RGB三通道,宽和高均为32。第一卷积池化层参数包括w:[20,3,5,5],b:[20],其中20为当层卷积核个数(通道数),3为输入images通道个数(前层通道数),5×5为卷积核大小,第一卷积池化层后的Batchnorm参数包括w:[20],b:[20],因为第一卷积池化层有20个通道。Batchnorm会把按通道计算均值和方差来进行正则化。类似,第二卷积池化层参数包括w:[50,20,5,5],b:[50],第二卷积池化层后的Batchnorm参数包括w:[50],b:[50],第三卷积池化层参数包括w:[50,50,5,5],b:[50],全连接层w:[50,10],b:[10]。因为是10分类,输出层尺寸为[10]。optimizer.minimize(avg_cost)函数输出为元组(optimize_ops, params_grads),其中params_grads是一个由(param, grad)变量对组成的列表,param是Parameter,即参数,grad是该Parameter对应的梯度值。