paddnlp里的文本摘要算法分布式训练
收藏
使用paddlenlp里提供的text_summarization/pointer_summarizer进行分布式训练,按照官方的文档采用fleet API设置了strategy = fleet.DistributedStrategy();fleet.init(is_collective=True, strategy=strategy);optimizer = fleet.distributed_optimizer(optimizer)然后使用python paddle.distributed.launch --gpus=0,1,2 train.py后启动了两个worker分别在训练,并且分别存储了模型,那在训练过程中魔性的参数是互相交互的么?还是说这样做只是单纯的训练了两个模型?应该怎样配置才是真的单机多卡训练呀?
0
收藏
请登录后评论
你好,使用 python paddle.distributed.launch --gpus=0,1,2 train.py 启动的两个worker是训练同一个模型,每次更新参数时会把worker算出的梯度互相传递,这样每个worker就能计算总的梯度,然后更新参数