采用adam优化器时，学习率的选择最初最好用3e-4，如果出现测试集准确率上不去，将学习率减半，对应的batch_size也减半
奥，这样子啊，可以可以
好像一般情况，最终效果最好的是Momentum优化器，不过这个优化器对超参敏感，Adam相对来说是个比较无脑的优化器，对学习率什么的不是那么敏感。
奥，这样子啊，可以可以
好像一般情况，最终效果最好的是Momentum优化器，不过这个优化器对超参敏感，Adam相对来说是个比较无脑的优化器，对学习率什么的不是那么敏感。