首页 PaddleCV 帖子详情
脏数据对PaddleDetection训练的影响
收藏
快速回复
PaddleCV 问答目标检测 1431 20
脏数据对PaddleDetection训练的影响
收藏
快速回复
PaddleCV 问答目标检测 1431 20

版本:PaddleDetection1.8.5

报错情况

原因分析:

主要是数据集标注问题,标注中如果坐标中出现1(无论是x轴还是y轴),会被PaddleDetection判断为脏数据,显示效果如图。也就是说,原始坐标其实不是像上图的-1.0,而是1.0,即使如此,也会被认为是脏数据。

脏数据影响:

训练在第一个iter显示后,就完全卡住,无法继续训练了,就像这样

0
收藏
回复
全部评论(20)
时间顺序
AIStudio810260
#2 回复于2021-02

严格来说,目标检测数据中,X或Y坐标为1的框,是可能存在的,只是概率极低。姑且认为是脏数据吧。

0
回复
AIStudio810258
#3 回复于2021-02
严格来说,目标检测数据中,X或Y坐标为1的框,是可能存在的,只是概率极低。姑且认为是脏数据吧。

这是在边角的框吧

0
回复
AIStudio810258
#4 回复于2021-02

如果要是有在边缘露半个的目标,就不能这么定义了吧。

0
回复
AIStudio810258
#5 回复于2021-02
如果要是有在边缘露半个的目标,就不能这么定义了吧。

一般训练集,是不是也不会这么标注半个目标

0
回复
AIStudio810260
#6 回复于2021-02
这是在边角的框吧

拿到的数据集,没特别注意,但是99.9%是脏数据,或者说是错误标注

0
回复
AIStudio810260
#7 回复于2021-02
如果要是有在边缘露半个的目标,就不能这么定义了吧。

我明白你的意思了,那这可不是脏数据了,而是PaddleDetection无法处理的bug?

0
回复
AIStudio810260
#8 回复于2021-02
一般训练集,是不是也不会这么标注半个目标

这样一说,我得回去看看数据集的情况了

0
回复
AIStudio810260
#9 回复于2021-02
一般训练集,是不是也不会这么标注半个目标

说到这我也挺好奇的,半个的目标,应该怎么处理才好?

0
回复
AIStudio810260
#10 回复于2021-02
如果要是有在边缘露半个的目标,就不能这么定义了吧。

这么说来,还有一个可能,是默认的配置文件会做数据增强,边缘的这种标注,和某个数据增强的算子存在冲突

0
回复
AIStudio810260
#11 回复于2021-02
这么说来,还有一个可能,是默认的配置文件会做数据增强,边缘的这种标注,和某个数据增强的算子存在冲突

这得排查一下,唉,麻烦越来越大了

0
回复
AIStudio810258
#12 回复于2021-02
说到这我也挺好奇的,半个的目标,应该怎么处理才好?

先当一个的用,哈哈

0
回复
AIStudio810258
#13 回复于2021-02

从一些神经元激活热图或梯度热图上看,影响分类的不一定是目标的整体,可能只是一部分,比如头部

0
回复
AIStudio810258
#14 回复于2021-02
这么说来,还有一个可能,是默认的配置文件会做数据增强,边缘的这种标注,和某个数据增强的算子存在冲突

pddt的数据增强都列在yaml文件里,可以查查

0
回复
AIStudio810259
#15 回复于2021-02

好复杂

0
回复
AIStudio810260
#16 回复于2021-02
从一些神经元激活热图或梯度热图上看,影响分类的不一定是目标的整体,可能只是一部分,比如头部

卷积神经网络是这样的

0
回复
AIStudio810260
#17 回复于2021-02
从一些神经元激活热图或梯度热图上看,影响分类的不一定是目标的整体,可能只是一部分,比如头部

ppdet的热图生成方案有嘛……

0
回复
AIStudio810258
#18 回复于2021-03
ppdet的热图生成方案有嘛……

没找到·

0
回复
AIStudio810258
#19 回复于2021-03

可以用gradcam,很方便

0
回复
AIStudio810258
#20 回复于2021-03
ppdet的热图生成方案有嘛……

我这就给大佬写个~~

 

 

0
回复
AIStudio810258
#21 回复于2021-03
ppdet的热图生成方案有嘛……

也可以先试试这个

https://aistudio.baidu.com/aistudio/projectdetail/243356?channelType=0&channel=0

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户