在AiStudio上面,paddle.io.Dataloader只能设置use_shared_memory=False 设置成True就会报错:
FatalERROR:Bolck is killed.......
求问是什么情况啊??
这个参数在多进程模式下有效,
你可以先确认下你的num_workers是否大于0。
另外,这个参数设置成真以后,对PC内存的要求比较高,所以也可能是你的PC内存不足造成的。
谢谢你的解答。
我在本地设备上运行正常,num_worker设为4都可以正常运行。
问题是:在AiStudio的notebook里不能把use_shared__memory=True,num_worker也是设为4
共享内存就别True了,64MB不够带的。。
你可以设置num_workers=4来提高读取速度,不需要指定shm
AiStudio上共享内存特别小,只有64m,改不了大小
我也遇上Dataloader的问题。看看大家都怎么处理吧
我在pcl里用时,num_works只有设为0时才能工作,大于1就报错。。。
大于1会调用shm吗?我今天用Dataset把num_workers设置成4能正常运行
这个共享内存和pin_memory的概念差不多嘛。还不太了解他的运行机制
今天试了一次,确实不行,我在model.fit()里尝试num_workers=4,报错了
真奇妙。我的num_worker可以设到4。
读的什么数据?batch_size多少?
512*512的语义分割数据,batchsize=16可以跑
555
明天我瞅瞅错误还有没
多卡脚本任务吧
感觉notebook的224×224图片上不到8
也可能因为gan是多个模型同时跑的原因
感觉框架也在不断修复、调整,可能过段时间就好了
或者文档会有更详细的说明
文档就别提了。。。好多2.0rc的都没有介绍
主要是因为/dev/shm设备大小的原因,DataLoader多进程默认会开启共享内存(基于/dev/shm),AIStudio上面的设备空间比较小,64M,在上面开多进程可以先把共享内存关掉,后面再联合aistudio看看能不能把共享内存的空间调大一点。
这个参数在多进程模式下有效,
你可以先确认下你的num_workers是否大于0。
另外,这个参数设置成真以后,对PC内存的要求比较高,所以也可能是你的PC内存不足造成的。
谢谢你的解答。
我在本地设备上运行正常,num_worker设为4都可以正常运行。
问题是:在AiStudio的notebook里不能把use_shared__memory=True,num_worker也是设为4
共享内存就别True了,64MB不够带的。。
你可以设置num_workers=4来提高读取速度,不需要指定shm
AiStudio上共享内存特别小,只有64m,改不了大小
我也遇上Dataloader的问题。看看大家都怎么处理吧
我在pcl里用时,num_works只有设为0时才能工作,大于1就报错。。。
大于1会调用shm吗?我今天用Dataset把num_workers设置成4能正常运行
这个共享内存和pin_memory的概念差不多嘛。还不太了解他的运行机制
今天试了一次,确实不行,我在model.fit()里尝试num_workers=4,报错了
真奇妙。我的num_worker可以设到4。
读的什么数据?batch_size多少?
512*512的语义分割数据,batchsize=16可以跑
555
明天我瞅瞅错误还有没
多卡脚本任务吧
感觉notebook的224×224图片上不到8
也可能因为gan是多个模型同时跑的原因
感觉框架也在不断修复、调整,可能过段时间就好了
或者文档会有更详细的说明
文档就别提了。。。好多2.0rc的都没有介绍
主要是因为/dev/shm设备大小的原因,DataLoader多进程默认会开启共享内存(基于/dev/shm),AIStudio上面的设备空间比较小,64M,在上面开多进程可以先把共享内存关掉,后面再联合aistudio看看能不能把共享内存的空间调大一点。