首页 Paddle框架 帖子详情
Dataloader共享内存False
收藏
快速回复
Paddle框架 问答深度学习 3445 26
Dataloader共享内存False
收藏
快速回复
Paddle框架 问答深度学习 3445 26

在AiStudio上面,paddle.io.Dataloader只能设置use_shared_memory=False 设置成True就会报错:

FatalERROR:Bolck is killed.......

求问是什么情况啊??

0
收藏
回复
全部评论(26)
时间顺序
UnseenMe
#2 回复于2020-11

这个参数在多进程模式下有效,

你可以先确认下你的num_workers是否大于0。

 

另外,这个参数设置成真以后,对PC内存的要求比较高,所以也可能是你的PC内存不足造成的。

0
回复
MR.三水九
#3 回复于2020-11
这个参数在多进程模式下有效, 你可以先确认下你的num_workers是否大于0。   另外,这个参数设置成真以后,对PC内存的要求比较高,所以也可能是你的PC内存不足造成的。

谢谢你的解答。

我在本地设备上运行正常,num_worker设为4都可以正常运行。

问题是:在AiStudio的notebook里不能把use_shared__memory=True,num_worker也是设为4

0
回复
thinc
#4 回复于2020-11

共享内存就别True了,64MB不够带的。。

0
回复
thinc
#5 回复于2020-11

你可以设置num_workers=4来提高读取速度,不需要指定shm

0
回复
furoce
#6 回复于2020-11

AiStudio上共享内存特别小,只有64m,改不了大小

0
回复
AIStudio810258
#7 回复于2020-11

我也遇上Dataloader的问题。看看大家都怎么处理吧

0
回复
AIStudio810258
#8 回复于2020-11

我在pcl里用时,num_works只有设为0时才能工作,大于1就报错。。。

0
回复
thinc
#9 回复于2020-11
我在pcl里用时,num_works只有设为0时才能工作,大于1就报错。。。

大于1会调用shm吗?我今天用Dataset把num_workers设置成4能正常运行

0
回复
MR.三水九
#10 回复于2020-11
thinc #9
大于1会调用shm吗?我今天用Dataset把num_workers设置成4能正常运行

这个共享内存和pin_memory的概念差不多嘛。还不太了解他的运行机制

0
回复
thinc
#11 回复于2020-11

今天试了一次,确实不行,我在model.fit()里尝试num_workers=4,报错了

0
回复
MR.三水九
#12 回复于2020-11
thinc #11
今天试了一次,确实不行,我在model.fit()里尝试num_workers=4,报错了

真奇妙。我的num_worker可以设到4。

0
回复
AIStudio810258
#13 回复于2020-11
真奇妙。我的num_worker可以设到4。

读的什么数据?batch_size多少?

0
回复
MR.三水九
#14 回复于2020-11
读的什么数据?batch_size多少?

512*512的语义分割数据,batchsize=16可以跑

 

 

0
回复
thinc
#15 回复于2020-11
真奇妙。我的num_worker可以设到4。

555

明天我瞅瞅错误还有没

0
回复
AIStudio810258
#16 回复于2020-11
512*512的语义分割数据,batchsize=16可以跑    

多卡脚本任务吧

感觉notebook的224×224图片上不到8

0
回复
AIStudio810258
#17 回复于2020-11
512*512的语义分割数据,batchsize=16可以跑    

也可能因为gan是多个模型同时跑的原因

0
回复
AIStudio810258
#18 回复于2020-11
thinc #15
555 明天我瞅瞅错误还有没

感觉框架也在不断修复、调整,可能过段时间就好了

0
回复
AIStudio810258
#19 回复于2020-11
thinc #15
555 明天我瞅瞅错误还有没

或者文档会有更详细的说明

0
回复
thinc
#20 回复于2020-11
或者文档会有更详细的说明

文档就别提了。。。好多2.0rc的都没有介绍

0
回复
Saxon
#21 回复于2020-12

主要是因为/dev/shm设备大小的原因,DataLoader多进程默认会开启共享内存(基于/dev/shm),AIStudio上面的设备空间比较小,64M,在上面开多进程可以先把共享内存关掉,后面再联合aistudio看看能不能把共享内存的空间调大一点。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户