使用PaddleClas跑分类任务时,启用多个线程时data_loader会报错,将参数num_workers设为0才能正确读取
能不能把出错的项目公开一下, 然后给个网址?
否则就需要说明一下PaddleClas的版本, 环境信息, 和出错区的代码
就是解析paddleclas代码时跑的一个demo
https://aistudio.baidu.com/aistudio/projectdetail/1226186
改为“num_wrokers:0”就好了
看pcl的源码,这个参数就是设置DataLoader的num_workers参数
还有就是同时两个DataLoader,会导致shm逐渐被占满
DataLoader 问题项目:
https://aistudio.baidu.com/aistudio/projectdetail/1227222
为了保护眼睛好拼……
shm 逐渐占满
哈哈,发现低对比度看起来更得劲儿点,颜色就变着风格了
偏紫色的感觉比较“blue”,所以就偏黄绿了。。。
num worker调大shm就不够用了
这个问题我在半年前就遇到过,社区的相关帖子一直没消息。。
不是调大的问题,我设的是0,只用主进程
这就母鸡了
问题还是有所改进。原来是一个DataLoader也有问题,现在只是在同时用两个时才有这个问题
shm就64MB。。随便跑一下就满了
也遇到了?
但paddlegan里肯定也是用了多个Dataload,估计还是用法的问题。
但还是推给rd牛们去解决好了,我们等吃现成的~~(狐狸保命)
用一个Dataloader时占用率也就百分之几
能不能把出错的项目公开一下, 然后给个网址?
否则就需要说明一下PaddleClas的版本, 环境信息, 和出错区的代码
就是解析paddleclas代码时跑的一个demo
https://aistudio.baidu.com/aistudio/projectdetail/1226186
改为“num_wrokers:0”就好了
看pcl的源码,这个参数就是设置DataLoader的num_workers参数
还有就是同时两个DataLoader,会导致shm逐渐被占满
DataLoader 问题项目:
https://aistudio.baidu.com/aistudio/projectdetail/1227222
为了保护眼睛好拼……
shm 逐渐占满
哈哈,发现低对比度看起来更得劲儿点,颜色就变着风格了
偏紫色的感觉比较“blue”,所以就偏黄绿了。。。
num worker调大shm就不够用了
这个问题我在半年前就遇到过,社区的相关帖子一直没消息。。
不是调大的问题,我设的是0,只用主进程
这就母鸡了
问题还是有所改进。原来是一个DataLoader也有问题,现在只是在同时用两个时才有这个问题
还有就是同时两个DataLoader,会导致shm逐渐被占满
shm就64MB。。随便跑一下就满了
也遇到了?
但paddlegan里肯定也是用了多个Dataload,估计还是用法的问题。
但还是推给rd牛们去解决好了,我们等吃现成的~~(狐狸保命)
用一个Dataloader时占用率也就百分之几