首页 炼丹房 帖子详情
求助帖:图片训练时有损坏的文件报错,求解决办法 已解决
收藏
快速回复
炼丹房 问答新手上路 3272 35
求助帖:图片训练时有损坏的文件报错,求解决办法 已解决
收藏
快速回复
炼丹房 问答新手上路 3272 35

我在训练一个2万张图片的数据集,在训练执行中发现报错,求教解决办法

The loss value printed in the log is the current step, and the metric is the average value of previous step.
Epoch 1/100

/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/layers/utils.py:77: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' is deprecated, and in 3.8 it will stop working
return (isinstance(seq, collections.Sequence) and
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/nn/layer/norm.py:648: UserWarning: When training, we now always track global mean and variance.
"When training, we now always track global mean and variance.")

step 60/229 [======>.......................] - loss: 3.1190 - acc_top1: 0.0799 - acc_top5: 0.2940 - ETA: 20:21 - 7s/ste
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/PIL/TiffImagePlugin.py:770: UserWarning: Possibly corrupt EXIF data. Expecting to read 23836229632 bytes but only got 0. Skipping tag 0
" Skipping tag %s" % (size, len(data), tag)

step 229/229 [==============================] - loss: 3.1398 - acc_top1: 0.0979 - acc_top5: 0.3521 - 7s/step
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 30/58 [==============>...............] - loss: 3.5679 - acc_top1: 0.0578 - acc_top5: 0.3641 - ETA: 3:18 - 7s/st
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/PIL/TiffImagePlugin.py:788: UserWarning: Corrupt EXIF data. Expecting to read 12 bytes but only got 6.
warnings.warn(str(msg))
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/PIL/JpegImagePlugin.py:793: UserWarning: Image appears to be a malformed MPO file, it will be interpreted as a base JPEG file
"Image appears to be a malformed MPO file, it will be "

TowerNet
已解决
37# 回复于2021-12
可以通过EasyData来解决
0
收藏
回复
全部评论(35)
时间顺序
七年期限
#22 回复于2021-03

判断是不是灰度图就行了把  CV_8UC1

0
回复
TowerNet
#23 回复于2021-03
判断是不是灰度图就行了把  CV_8UC1

七年大佬,这个有没有代码示例啊

0
回复
TowerNet
#24 回复于2021-03

PaddleClas里也报这个错误,这个损坏的文件怎么把他揪出来啊

0
回复
七年期限
#25 回复于2021-03
TowerNet #23
七年大佬,这个有没有代码示例啊

https://blog.csdn.net/kingkee/article/details/82219830

0
回复
七年期限
#26 回复于2021-03

你试试有用吗 这个我还真没用过 印象中 有人说过

0
回复
TowerNet
#28 回复于2021-03
你试试有用吗 这个我还真没用过 印象中 有人说过

最后发现是数据集里有两个快捷方式文件,删了就不报错了

0
回复
AIStudio810258
#29 回复于2021-03
TowerNet #20
这种代码怎么写呢,大佬

打印读取的图片数据的形状 【3, h ,w】形状没问题,【1, h, w】形状就会报错了

0
回复
AIStudio810258
#30 回复于2021-03
这个也有影响吗?

会导致数据增强或归一化代码报错

0
回复
AIStudio810258
#31 回复于2021-03
TowerNet #28
最后发现是数据集里有两个快捷方式文件,删了就不报错了

这也算种“脏”数据吧

0
回复
七年期限
#32 回复于2021-03
TowerNet #28
最后发现是数据集里有两个快捷方式文件,删了就不报错了

额 我去

0
回复
七年期限
#33 回复于2021-03

快捷方式不是图片啊  得注意

0
回复
七年期限
#34 回复于2021-03
会导致数据增强或归一化代码报错

那倒是  归一化会出问题

0
回复
AIStudio810259
#35 回复于2021-03
打印读取的图片数据的形状 【3, h ,w】形状没问题,【1, h, w】形状就会报错了

会不会是灰度图?

0
回复
七年期限
#36 回复于2021-03
会不会是灰度图?

坤哥说的就是灰度图跟彩色图的对比

0
回复
TowerNet
#37 回复于2021-12

可以通过EasyData来解决

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户