脚本任务 日志刷新问题
收藏
脚本任务，使用4卡V100分布式训练，日志只能看到：
INFO 2022-04-02 11:01:08,033 launch_utils.py:532] details abouts PADDLE_TRAINER_ENDPOINTS can be found in log/endpoints.log, and detail running logs maybe found in log/workerlog.0
之后就不刷新了；
终止任务后，下载输出，能看到任务是执行成功的；但下载日志文件还是只能看到上面的INFO。
0
收藏
请登录后评论
分布式训练刷新会慢一些，是会刷新的。
差不多1个小时刷新一次。
我的脚本任务提交后， 一直在排队中， 排了6个小时了，这个是要排多久啊。。。o(╥﹏╥)o
这个是根据实时的使用量决定的，一般晚上提交会好一些。
所以等下晚点 终止掉排了6个小时的任务， 再重新提交，会快点？