迭代9000轮时这个报错是怎么回事?
一个epoch训练是大概1000step 这个是马斑马数据集(1000对图片左右),所以从报错和现象上看,比较像资源耗尽或分配的原因
是DataLoader的num_workers参数设置问题么?
查了文档:
num_workers (int) - 用于加载数据的子进程个数,若为0即为不开启子进程,在主进程中进行数据加载。默认值为0。use_buffer_reader (bool) - 是否使用缓存读取器 。若 use_buffer_reader 为True,DataLoader会异步地预读取下一个mini-batch的数据,可加速数据读取过程,但同时会占用少量的CPU/GPU存储,即一个batch输入数据的存储空间。默认值为True。use_shared_memory (bool) - 是否使用共享内存来提升子进程将数据放入进程间队列的速度,该参数尽在多进程模式下有效(即 num_workers > 0 ),请确认机器上有足够的共享内存空间(如Linux系统下 /dev/shm/ 目录空间大小)再设置此参数。默认为False。timeout (int) - 从子进程输出队列获取mini-batch数据的超时时间。默认值为0。worker_init_fn (callable) - 子进程初始化函数,此函数会被子进程初始化时被调用,并传递 worker id 作为参数。默认值为None。
有时还报这个:
原来我都是用yield手写的loader,2.0了想用用系统的,不怎么了解流程啊。。。
有没有比较系统的2.0 版dataloader的流程介绍
dataload能关掉多线程试试么?
你可以运行看看
反正开源了,去GitHub看看源码呗
错误不完整呀
有道理
实在不行骚扰GT童鞋
我正在参考套件里的用法,再试试
这种问题可以在https://github.com/PaddlePaddle/Paddle/issues这里直接反馈
请在这里直接反馈, 有每日值班生处理:
https://github.com/PaddlePaddle/Paddle/issues
告诉官方大大一个小技巧,链接两边放一个空格就不会被超链接影响 https://github.com/PaddlePaddle/Paddle/issues 就像这样~~
刚看见,这就提~
其实原来也知道,就是和大家讨论讨论。
如果不是我用法有问题,版本升级就会好了吧。
即使是我用法有问题,版本升级就会好了吧~~
遇事不决量子力学
绝妙的指导思想~~考试的救命稻草
一个epoch训练是大概1000step 这个是马斑马数据集(1000对图片左右),所以从报错和现象上看,比较像资源耗尽或分配的原因
是DataLoader的num_workers参数设置问题么?
查了文档:
num_workers (int) - 用于加载数据的子进程个数,若为0即为不开启子进程,在主进程中进行数据加载。默认值为0。
use_buffer_reader (bool) - 是否使用缓存读取器 。若 use_buffer_reader 为True,DataLoader会异步地预读取下一个mini-batch的数据,可加速数据读取过程,但同时会占用少量的CPU/GPU存储,即一个batch输入数据的存储空间。默认值为True。
use_shared_memory (bool) - 是否使用共享内存来提升子进程将数据放入进程间队列的速度,该参数尽在多进程模式下有效(即 num_workers > 0 ),请确认机器上有足够的共享内存空间(如Linux系统下 /dev/shm/ 目录空间大小)再设置此参数。默认为False。
timeout (int) - 从子进程输出队列获取mini-batch数据的超时时间。默认值为0。
worker_init_fn (callable) - 子进程初始化函数,此函数会被子进程初始化时被调用,并传递 worker id 作为参数。默认值为None。
有时还报这个:
原来我都是用yield手写的loader,2.0了想用用系统的,不怎么了解流程啊。。。
有没有比较系统的2.0 版dataloader的流程介绍
dataload能关掉多线程试试么?
你可以运行看看
反正开源了,去GitHub看看源码呗
错误不完整呀
有道理
实在不行骚扰GT童鞋
我正在参考套件里的用法,再试试
这种问题可以在https://github.com/PaddlePaddle/Paddle/issues这里直接反馈
请在这里直接反馈, 有每日值班生处理:
https://github.com/PaddlePaddle/Paddle/issues
告诉官方大大一个小技巧,链接两边放一个空格就不会被超链接影响 https://github.com/PaddlePaddle/Paddle/issues 就像这样~~
刚看见,这就提~
其实原来也知道,就是和大家讨论讨论。
如果不是我用法有问题,版本升级就会好了吧。
即使是我用法有问题,版本升级就会好了吧~~
遇事不决量子力学
绝妙的指导思想~~考试的救命稻草