首页 PaddleNLP 帖子详情
paddnlp里的文本摘要算法分布式训练
收藏
快速回复
PaddleNLP 问答训练NLP 787 1
paddnlp里的文本摘要算法分布式训练
收藏
快速回复
PaddleNLP 问答训练NLP 787 1

使用paddlenlp里提供的text_summarization/pointer_summarizer进行分布式训练,按照官方的文档采用fleet API设置了strategy = fleet.DistributedStrategy();fleet.init(is_collective=True, strategy=strategy);optimizer = fleet.distributed_optimizer(optimizer)然后使用python paddle.distributed.launch --gpus=0,1,2 train.py后启动了两个worker分别在训练,并且分别存储了模型,那在训练过程中魔性的参数是互相交互的么?还是说这样做只是单纯的训练了两个模型?应该怎样配置才是真的单机多卡训练呀?

0
收藏
回复
全部评论(1)
时间顺序
J
JackZhou
#2 回复于2021-08

你好,使用 python paddle.distributed.launch --gpus=0,1,2 train.py 启动的两个worker是训练同一个模型,每次更新参数时会把worker算出的梯度互相传递,这样每个worker就能计算总的梯度,然后更新参数

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户