怎样在本地测试Fleet API实现的分布式训练代码是否正确?
首先写好分布式train.py文件
在PServer模式下,命令行模拟启动分布式:python -m paddle.distributed.launch_ps --worker_num 2 --server_num 2 train.py在Collective模式下,命令改为python -m paddle.distributed.launch --gpus=0,1 train.py
首先写好分布式train.py文件
在PServer模式下,命令行模拟启动分布式:python -m paddle.distributed.launch_ps --worker_num 2 --server_num 2 train.py
在Collective模式下,命令改为python -m paddle.distributed.launch --gpus=0,1 train.py