关于paddledetaction训练过程中的GPU利用率低的问题
收藏
如图，训练过程中发现eta接近7个小时，GPU利用率很低（nvidia-smi观察到的利用率不到3%）但是显存几乎吃满了，想知道有没有什么优化方法可以提高GPU利用率。
0
收藏
请登录后评论
这个有可能和你的图片过大需要大量的内存处理有关，推荐先缩小 比例然后再进行训练，效果会好一些
不行把一些数据增强做成offline的吧
看数据IO,一般都是花费在数据读取上了，可以把数据先读到内存里，或者数据增强做成离线
数据增强改为离线我大致知道怎么处理了，“数据先读取到内存”是在\ppdet\data\reader.py修改吗？具体如何实现呢？