使用ernie-gram,pointwisematch 进行paws-x文本相似度训练梯度一直下不来
收藏
我基于官方的项目 https://aistudio.baidu.com/aistudio/projectdetail/2029701 对paw-x-zh做文本相似度计算，但是训练的时候效果始终无法得到提升。。。观察数据集后尝试使用drop_out=0.2，基础的准确度升高了但是训练还是没法把梯度降下来，想问问这个可能是什么原因？一般来说这种预训练模型做训练的调试有哪些手段？？新人求指教，谢谢
0
收藏
请登录后评论
是指基于 paw-x-zh 数据集训练的时候模型不收敛？
收敛，但是收敛的结果相对于一开始的结果提升不大
时间有点就远了，后面调整了下之后达到预期。
只是不知道这种情况下有哪些手段去检查模型？
可以检查一下是否学习率过大？建议学习率小于5E-4，同时可以观察 loss 收敛曲线是否正常。
我的没有收敛，请问是什么原因呢？accu始终是0.50011.我的batch-size=8.其他完全没有改动。