mask rcnn迭代次数异常
收藏
- 每个epoch本应该迭代8709次，但每次都在不超过5000次的时候终止，开始进行评估并进行下一轮的迭代。
- 猜测是最大迭代次数设置的问题，但并不知道怎么设置，加载模型和训练函数中没有这个参数。
- 另外对自己的数据集而言，loss不稳定且精度上升很慢，整体偏低。
训练情况如下
2021-05-14 21:27:01 [INFO] [TRAIN] Epoch=55/200, Step=3535/8709, loss=1.738235, loss_cls=0.533368, loss_bbox=0.318981, loss_mask=0.466298, loss_rpn_cls=0.030499, loss_rpn_bbox=0.389088, lr=1e-05, time_each_step=0.33s, eta=90:53:43
2021-05-14 21:31:01 [INFO] [TRAIN] Epoch=55/200, Step=4035/8709, loss=1.416182, loss_cls=0.517344, loss_bbox=0.263405, loss_mask=0.359275, loss_rpn_cls=0.020248, loss_rpn_bbox=0.25591, lr=1e-05, time_each_step=0.23s, eta=90:43:11
2021-05-14 21:34:24 [INFO] [TRAIN] Epoch=55/200, Step=4535/8709, loss=1.670683, loss_cls=0.581407, loss_bbox=0.261191, loss_mask=0.482556, loss_rpn_cls=0.078901, loss_rpn_bbox=0.266629, lr=1e-05, time_each_step=0.3s, eta=90:45:53
2021-05-14 21:37:03 [INFO] [TRAIN] Epoch=55/200, Step=5035/8709, loss=0.6383, loss_cls=0.033301, loss_bbox=0.018905, loss_mask=0.494495, loss_rpn_cls=0.012635, loss_rpn_bbox=0.078964, lr=1e-05, time_each_step=0.31s, eta=90:44:25
2021-05-14 21:37:59 [INFO] [TRAIN] Epoch 55 finished, loss=1.056064, loss_cls=0.272254, loss_bbox=0.164197, loss_mask=0.328923, loss_rpn_cls=0.025651, loss_rpn_bbox=0.265039, lr=1e-05 .
2021-05-14 21:37:59 [INFO] Start to evaluating(total_samples=459, total_steps=459)...
0
收藏
请登录后评论
这个比较奇怪，如果换个模型呢？也这样嘛？
用语义分割模型训练迭代次数是正常的
如果是faster-rcnn呢？我觉得有可能是mask rcnn代码问题，是否提个issue？
这个原因是因为，在训练RCNN（包括FasterRCNN、MaskRCNN）模型时，如果有些样本中没有目标，就会自动跳过，当前你这里原本应该迭代8000多次，但实际只迭代5000多次，原因就是因为其中3000次由于那些样本没有目标，被跳过了
什么情况下会没有目标呢
没有目标就是指训练样本里面，有些图片原本就没有标注目标