paddle2.0为什么不支持FRB了?
收藏
显存占用过大,了解到paddle1.8支持了FRB,但是2.0以后的文档搜不到相关的任何结果,只有在分布训练中包含了recompute相关的参数
0
收藏
请登录后评论
2.0 是支持的哈,相关的文档在这里:https://fleet-x.readthedocs.io/en/latest/paddle_fleet_rst/collective/collective_mp/recomputation.html 我们会尽快整理分布式的文档到飞桨官网~