Dataloader共享内存False

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

MR.三水九发布于2020-11

在AiStudio上面，paddle.io.Dataloader只能设置use_shared_memory=False 设置成True就会报错：

FatalERROR：Bolck is killed.......

求问是什么情况啊？？

全部评论(26)

MR.三水九

#22 回复于2020-12

Saxon #21

主要是因为/dev/shm设备大小的原因，DataLoader多进程默认会开启共享内存（基于/dev/shm），AIStudio上面的设备空间比较小，64M，在上面开多进程可以先把共享内存关掉，后面再联合aistudio看看能不能把共享内存的空间调大一点。

展开

嗯嗯。还想问一下，使用和不使用共享内存会有什么区别嘛，就是使用共享内存多进程通信就会加快嘛？？

Saxon

#23 回复于2021-02

MR.三水九 #22

嗯嗯。还想问一下，使用和不使用共享内存会有什么区别嘛，就是使用共享内存多进程通信就会加快嘛？？

使用共享内存会加速数据读取的效率，要不会有一些数据在不同缓存之间转移开销

MR.三水九

#24 回复于2021-02

Saxon #23

使用共享内存会加速数据读取的效率，要不会有一些数据在不同缓存之间转移开销

哇感谢雨哥，上了课才认识雨哥。去年都不知道

七年期限

#25 回复于2021-02

AIStudio810258 #16

多卡脚本任务吧感觉notebook的224×224图片上不到8

也不一定

七年期限

#26 回复于2021-02

thinc #20

文档就别提了。。。好多2.0rc的都没有介绍

文档也在优化吧

七年期限

#27 回复于2021-02

Saxon #23

使用共享内存会加速数据读取的效率，要不会有一些数据在不同缓存之间转移开销

这是雨哥吗

提issue

需求/bug反馈？一键提issue告诉我们

提pr

发现bug？如果您知道修复办法，欢迎提pr直接参与建设飞桨~