PaddleNLP内文本摘要分布式
收藏
PaddleNLP中的文本摘要算法text_summarization/pointer_summarizer,怎么改成分布式的?我尝试了官方文档的方法,使用collective模式并配置了strategy = fleet.DistributedStrategy();fleet.init(is_collective=True, strategy=strategy);optimizer =fleet.distributed_optimizer(optimizer),然后使用paddle.distributed.launch选了两块gpu来运行,但训练过程感觉像是有两个worker各跑各的,模型也是分别保存,并不是同步训练模型,请问是哪里还需要配置么?
0
收藏
请登录后评论
参考:https://github.com/PaddlePaddle/PaddleNLP/issues/855
你好,麻烦提供下版本和环境信息