首页 Paddle框架 帖子详情
2.0的DataLoader报错
收藏
快速回复
Paddle框架 问答深度学习 1679 28
2.0的DataLoader报错
收藏
快速回复
Paddle框架 问答深度学习 1679 28

迭代9000轮时这个报错是怎么回事?

0
收藏
回复
全部评论(28)
时间顺序
AIStudio810258
#2 回复于2020-10

一个epoch训练是大概1000step 这个是马斑马数据集(1000对图片左右),所以从报错和现象上看,比较像资源耗尽或分配的原因

0
回复
AIStudio810258
#3 回复于2020-10

是DataLoader的num_workers参数设置问题么?

0
回复
AIStudio810258
#4 回复于2020-10

查了文档:

num_workers (int) - 用于加载数据的子进程个数,若为0即为不开启子进程,在主进程中进行数据加载。默认值为0。
use_buffer_reader (bool) - 是否使用缓存读取器 。若 use_buffer_reader 为True,DataLoader会异步地预读取下一个mini-batch的数据,可加速数据读取过程,但同时会占用少量的CPU/GPU存储,即一个batch输入数据的存储空间。默认值为True。
use_shared_memory (bool) - 是否使用共享内存来提升子进程将数据放入进程间队列的速度,该参数尽在多进程模式下有效(即 num_workers > 0 ),请确认机器上有足够的共享内存空间(如Linux系统下 /dev/shm/ 目录空间大小)再设置此参数。默认为False。
timeout (int) - 从子进程输出队列获取mini-batch数据的超时时间。默认值为0。
worker_init_fn (callable) - 子进程初始化函数,此函数会被子进程初始化时被调用,并传递 worker id 作为参数。默认值为None。

0
回复
AIStudio810258
#5 回复于2020-10

有时还报这个:

0
回复
AIStudio810258
#6 回复于2020-10

原来我都是用yield手写的loader,2.0了想用用系统的,不怎么了解流程啊。。。

0
回复
AIStudio810258
#7 回复于2020-10
原来我都是用yield手写的loader,2.0了想用用系统的,不怎么了解流程啊。。。

有没有比较系统的2.0 版dataloader的流程介绍

0
回复
AIStudio810258
#8 回复于2020-10

dataload能关掉多线程试试么?

0
回复
thinc
#9 回复于2020-10
dataload能关掉多线程试试么?

你可以运行看看

0
回复
thinc
#10 回复于2020-10
原来我都是用yield手写的loader,2.0了想用用系统的,不怎么了解流程啊。。。

反正开源了,去GitHub看看源码呗

0
回复
thinc
#11 回复于2020-10
有时还报这个: [图片]

错误不完整呀

0
回复
AIStudio810258
#12 回复于2020-10
thinc #10
反正开源了,去GitHub看看源码呗

有道理

0
回复
thinc
#13 回复于2020-10
有道理

实在不行骚扰GT童鞋

0
回复
AIStudio810258
#14 回复于2020-11
thinc #13
实在不行骚扰GT童鞋

我正在参考套件里的用法,再试试

0
回复
AIStudio810261
#15 回复于2020-11

这种问题可以在https://github.com/PaddlePaddle/Paddle/issues这里直接反馈

0
回复
AIStudio810261
#16 回复于2020-11

请在这里直接反馈, 有每日值班生处理:

https://github.com/PaddlePaddle/Paddle/issues

0
回复
thinc
#17 回复于2020-11
这种问题可以在https://github.com/PaddlePaddle/Paddle/issues这里直接反馈

告诉官方大大一个小技巧,链接两边放一个空格就不会被超链接影响 https://github.com/PaddlePaddle/Paddle/issues 就像这样~~

0
回复
AIStudio810258
#18 回复于2020-11
请在这里直接反馈, 有每日值班生处理: https://github.com/PaddlePaddle/Paddle/issues

刚看见,这就提~

0
回复
AIStudio810258
#19 回复于2020-11
请在这里直接反馈, 有每日值班生处理: https://github.com/PaddlePaddle/Paddle/issues

其实原来也知道,就是和大家讨论讨论。

如果不是我用法有问题,版本升级就会好了吧。

即使是我用法有问题,版本升级就会好了吧~~

0
回复
thinc
#20 回复于2020-11
其实原来也知道,就是和大家讨论讨论。 如果不是我用法有问题,版本升级就会好了吧。 即使是我用法有问题,版本升级就会好了吧~~

遇事不决量子力学

0
回复
AIStudio810258
#21 回复于2020-11
thinc #20
遇事不决量子力学

绝妙的指导思想~~考试的救命稻草

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户