notebook后台任务删除文件失败
收藏
notebook后台任务删除文件失败,使用python的os.remove,linux的m -rf命令在notebook中运行都可以删除,但在后台任务中显示删除,导出结果时文件仍然存在
0
收藏
请登录后评论
检查下是否路径问题?
使用python的os.remove,linux的m -rf命令在notebook中运行都可以删除,但在后台任务中显示删除,导出结果时文件仍然存在
是路径问题。
比如data目录,notebook可以写本地的路径”data“,后台任务需要使用绝对路径。必须要写linux下的完整路径“/home/aistudio/data"。
我看到文章解释以后又实验了几次才确认这一点。
进一步的说明。
一开始把数据集解压缩在绝对路径“/home/aistudio/mydataset"下面,即使删除了仍然会报错。
后来把数据集解压缩到"/home/aisutdio/data/mydataset",训练完成了就删除掉数据集图片和标注文件。但是仍然看起来还有问题。
再检查训练过程中的evaluation模型,可能保存了比较多版本,所以连这些都删除了,只保留了best model,于是训练成功,下载的文件居然还有4.2G!我用了yolov3+mobilenetv3而已!所以怪不得前面训练都会因为不能保存而失败。