请教paddle2.0多卡训练显存占用问题
收藏
基本信息：Ubuntu18.04, CUDA10.2, cuDNN7.6.5, PaddlePaddle v2.0.1, 双RTX6000
第一次尝试双卡训练，发现无论是launch还是spawn，每张显卡的显存占用都比单卡训练时要高一点，我还以为双卡时的显存占用大概会到单卡时的一半。现在这样的话不就不能提高batch size了吗？请问是否有其他设置项目？或者哪位能提供更多的关于多卡训练的资料？
在此先谢谢各位了。
0
收藏
请登录后评论
去github上查找了问题，原来还要用DistributedBatchSampler才行。实验发现用了之后确实一轮的迭代数量减半了。哎，官方文档更新不及时啊。