首页 PaddleCV 帖子详情
pcl启用多线程数据读取的问题
收藏
快速回复
PaddleCV 问答图像分类 2491 21
pcl启用多线程数据读取的问题
收藏
快速回复
PaddleCV 问答图像分类 2491 21

使用PaddleClas跑分类任务时,启用多个线程时data_loader会报错,将参数num_workers设为0才能正确读取

0
收藏
回复
全部评论(21)
时间顺序
AIStudio810261
#2 回复于2020-11

能不能把出错的项目公开一下, 然后给个网址?

否则就需要说明一下PaddleClas的版本, 环境信息, 和出错区的代码

0
回复
AIStudio810258
#3 回复于2020-11
能不能把出错的项目公开一下, 然后给个网址? 否则就需要说明一下PaddleClas的版本, 环境信息, 和出错区的代码

就是解析paddleclas代码时跑的一个demo

https://aistudio.baidu.com/aistudio/projectdetail/1226186

0
回复
AIStudio810258
#4 回复于2020-11
能不能把出错的项目公开一下, 然后给个网址? 否则就需要说明一下PaddleClas的版本, 环境信息, 和出错区的代码

改为“num_wrokers:0”就好了

0
回复
AIStudio810258
#5 回复于2020-11
能不能把出错的项目公开一下, 然后给个网址? 否则就需要说明一下PaddleClas的版本, 环境信息, 和出错区的代码

看pcl的源码,这个参数就是设置DataLoader的num_workers参数

0
回复
AIStudio810258
#6 回复于2020-11
能不能把出错的项目公开一下, 然后给个网址? 否则就需要说明一下PaddleClas的版本, 环境信息, 和出错区的代码

还有就是同时两个DataLoader,会导致shm逐渐被占满

0
回复
AIStudio810258
#7 回复于2020-11

DataLoader 问题项目:

https://aistudio.baidu.com/aistudio/projectdetail/1227222

0
回复
AIStudio810260
#8 回复于2020-11
[图片] 改为“num_wrokers:0”就好了

为了保护眼睛好拼……

0
回复
AIStudio810258
#9 回复于2020-11
能不能把出错的项目公开一下, 然后给个网址? 否则就需要说明一下PaddleClas的版本, 环境信息, 和出错区的代码

shm 逐渐占满

0
回复
AIStudio810258
#10 回复于2020-11
为了保护眼睛好拼……

哈哈,发现低对比度看起来更得劲儿点,颜色就变着风格了

0
回复
AIStudio810258
#11 回复于2020-11
为了保护眼睛好拼……

偏紫色的感觉比较“blue”,所以就偏黄绿了。。。

0
回复
thinc
#12 回复于2020-11

num worker调大shm就不够用了

0
回复
thinc
#13 回复于2020-11
[图片] shm 逐渐占满

这个问题我在半年前就遇到过,社区的相关帖子一直没消息。。

0
回复
AIStudio810258
#14 回复于2020-11
thinc #12
num worker调大shm就不够用了

不是调大的问题,我设的是0,只用主进程

0
回复
thinc
#15 回复于2020-11
不是调大的问题,我设的是0,只用主进程

这就母鸡了

0
回复
AIStudio810258
#16 回复于2020-11
thinc #13
这个问题我在半年前就遇到过,社区的相关帖子一直没消息。。

问题还是有所改进。原来是一个DataLoader也有问题,现在只是在同时用两个时才有这个问题

0
回复
screamdw
#17 回复于2020-11

还有就是同时两个DataLoader,会导致shm逐渐被占满

0
回复
thinc
#18 回复于2020-11
screamdw #17
还有就是同时两个DataLoader,会导致shm逐渐被占满

shm就64MB。。随便跑一下就满了

0
回复
AIStudio810258
#19 回复于2020-11
screamdw #17
还有就是同时两个DataLoader,会导致shm逐渐被占满

也遇到了?

0
回复
AIStudio810258
#20 回复于2020-11
screamdw #17
还有就是同时两个DataLoader,会导致shm逐渐被占满

但paddlegan里肯定也是用了多个Dataload,估计还是用法的问题。

但还是推给rd牛们去解决好了,我们等吃现成的~~(狐狸保命)

0
回复
AIStudio810258
#21 回复于2020-11
thinc #18
shm就64MB。。随便跑一下就满了

用一个Dataloader时占用率也就百分之几

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户