data生成速度跟不上gpu训练速度怎么办呀
收藏
如题~静等大佬~
0
收藏
请登录后评论
自己顶下~
可以把data放内存里么,或者先生成完data再训练
把data存起来,然后一次性读?
数据量不大可以一次读取,然后每轮shuffle。
感谢大家!(抱拳)
这是怎么知道跟不上速度的
cpu跟不上gpu吧
要么优化cpu部分的代码,减少减少预处理的时间让它跑快点
要么数据量小就全生成完了都读到内存或显存
要么数据量大就干脆把预处理部分全做了直接弄一个预处理完的数据集,让gpu能直接读
要么就土豪做派,自己配机器让cpu跟的上gpu
看gpu使用率,要是在训练中一直有很长时间的0使用率,十有八九是gpu在等cpu往过送数据
学习了