想使用“后台任务”方式训练一个分割模型,发现由于输出文件数量的限制,无法成功执行。请教大佬们有什么好办法呢?
解压数据集应该也被算作任务输出了吧,所以解压的图片超出10000张导致了,任务失败
这样的话就根本没法使用数据集了啊
不压缩直接将图片上传到数据集也是有文件数量限制的
数据集解压到工作空间又有版本生成的文件数量限制
这样的话, 后台任务基本上就没法进行cv任务了。大佬们都是怎么用的呢?传授下~~
后台任务给的32G的至尊级gpu,如果用不了大点的数据集就没意义了唉。。。
绝对路径啊
不好意思,我看成了脚本任务
这种超大型cv任务建议使用脚本任务,好像没有数据集大小限制
当然你这问题比较麻烦,因为我一般用脚本任务的时候,是在Notebook里面把逻辑跑清楚
跑清楚逻辑再去考虑如何在脚本任务中执行命令行,话说,现在脚本任务支持shell,用起来已经非常非常方便了
我建议,你这个场景,看能不能只取很小部分的数据集,没错,就是很小部分的,主要就是为了跑通流程,在Notebook里操作,熟练了去脚本任务执行shell
挂载处理好的数据集就不会统计空间,只要单独开一个单元格写好解压的位置,后台任务运行时就会将其解压并使用了
妙啊,就是说,我先在notebook里手动解压好数据集,然后再将其注释生成新版本后再执行后台任务,是这个路子吧?
这就是说,后台任务可以和notebook共享工作空间,是这个意思吧,我在notebook里解压,后台任务也能读取。去试试~~
但是在后台任务里解压是不行的,因为解压的图片也算作输出,有10000的限制
当然,最后大点的模型还是得靠多卡,脚本任务是必备良药~~
最近有没有发过2.1或2.0的脚本项目,多卡的更妙~~
现在好像多卡的使用也更方便了,增加了一种方式,似乎比原来的distributed launch还方便
你的数据集没解压到AIstudio的data文件夹那吧?解压到data文件夹的数据都不会打包作为输出下载。
如果你是解压到了其它文件夹,那么运行完后,应在最后的单元格使用!rm 命令删掉数据集,避免打包进去
解压数据集应该也被算作任务输出了吧,所以解压的图片超出10000张导致了,任务失败
这样的话就根本没法使用数据集了啊
不压缩直接将图片上传到数据集也是有文件数量限制的
数据集解压到工作空间又有版本生成的文件数量限制
这样的话, 后台任务基本上就没法进行cv任务了。大佬们都是怎么用的呢?传授下~~
后台任务给的32G的至尊级gpu,如果用不了大点的数据集就没意义了唉。。。
绝对路径啊
不好意思,我看成了脚本任务
这种超大型cv任务建议使用脚本任务,好像没有数据集大小限制
当然你这问题比较麻烦,因为我一般用脚本任务的时候,是在Notebook里面把逻辑跑清楚
跑清楚逻辑再去考虑如何在脚本任务中执行命令行,话说,现在脚本任务支持shell,用起来已经非常非常方便了
我建议,你这个场景,看能不能只取很小部分的数据集,没错,就是很小部分的,主要就是为了跑通流程,在Notebook里操作,熟练了去脚本任务执行shell
挂载处理好的数据集就不会统计空间,只要单独开一个单元格写好解压的位置,后台任务运行时就会将其解压并使用了
妙啊,就是说,我先在notebook里手动解压好数据集,然后再将其注释生成新版本后再执行后台任务,是这个路子吧?
这就是说,后台任务可以和notebook共享工作空间,是这个意思吧,我在notebook里解压,后台任务也能读取。去试试~~
但是在后台任务里解压是不行的,因为解压的图片也算作输出,有10000的限制
当然,最后大点的模型还是得靠多卡,脚本任务是必备良药~~
最近有没有发过2.1或2.0的脚本项目,多卡的更妙~~
现在好像多卡的使用也更方便了,增加了一种方式,似乎比原来的distributed launch还方便
你的数据集没解压到AIstudio的data文件夹那吧?解压到data文件夹的数据都不会打包作为输出下载。
如果你是解压到了其它文件夹,那么运行完后,应在最后的单元格使用!rm 命令删掉数据集,避免打包进去