PaddleDetecton多卡训练参数小结
测试环境为双T4
将命令分为三部分，如命令：CUDA_VISIBLE_DEVICES=0 python -m paddle.distributed.launch --selected_gpus 0 --log_dir ./mylog tools/train_multi_machine.py -c ../ppyolo.yml --eval
第一部分是CUDA环境变量设置，CUDA_VISIBLE_DEVICES=0 或CUDA_VISIBLE_DEVICES=0,1 CUDA_VISIBLE_DEVICES不设置为None。
第二部分设置 python -m paddle.distributed.launch --selected_gpus 0
python -m paddle.distributed.launch --selected_gpus 0,1 或不设置（None），--selected_gpus 0,1 这个参数不设置标记为launch
第三部分使用训练文件train_multi_machine.py 或train.py
时间为程序输出的剩余运行时间，大致相当于整体运行时间。比如一张卡应该是9-10小时左右，2张卡应该是4-5小时左右

发现在python -m paddle.distributed.launch的时候，如果没有写selected_gpus，那么默认就是跑满所有GPU。如果写--selected=0,1 ，则等同于--selected_gpus 0,1

总结一下：
1 train_multi_machine.py 一定要搭配python -m paddle.distributed.launch 使用，否则会报错：can't find PADDLE_TRAINER_ENDPOINTS
2 使用普通train文件，在配python -m paddle.distributed.launch的时候，只要CUDA_VISIBLE_DEVICES有设置就能速度跑满（当然前提条件是如果配置了--selected_gpus，其数量要小于或等于CUDA数量），而不管是配置--selected_gpus 0 或 --selected_gpus 0,1 还是不配置这个参数（不配置默认就是跑满GPU）。但是神奇的是配置单gpu的时候（--selected_gpus 0），确实能看到只有一块GPU参与（显存和耗电只有1块卡上去），但是速度跟2块是一样的。
3 CUDA_VISIBLE_DEVICES的设置对单纯的train.py文件无效，不管设置为多少，只是起一块GPU，反而可能在python -m paddle.distributed.launch的时候因为少于--selected_gpus数量而报错，这时候--selected_gpus不填就不会报错了。

总体而言，为了启用多卡，最佳的方法是：
1 直接使用python -m paddle.distributed.launch ，CUDA_VISIBLE_DEVICES可以不设置，若设置就要配满。

python -m paddle.distributed.launch 里面的这个参数--selected_gpus 0,1 可以不设置，可以减少报错。

这样目前版本的最佳命令设置就是去掉冗余，直接是：
python -m paddle.distributed.launch --log_dir ./mylog tools/train.py -c ../ppyolo.yml --eval

因为手中只有双卡的设备，所以不清楚8卡是否也符合上面的规律。
谨以此文，帮助大家理清aistudio脚本项目中的配置思路。