后台任务可以用命令行的方式创建吗?
收藏
我有一个任务,数据准备需要5个小时,数据准备本身GPU无法加速,准备好数据后,需要GPU来训练。但这种操作我需要做几十遍。我想用CPU机器来做数据准备,然后自动提交一个GPU后台任务。这就需要用命令行的方式操作,不知道AI Studio平台是否提供这个功能?
0
收藏
请登录后评论
sh就是命令行
数据是每次都变的吗? 那样没有什么好办法。
如果数据不变,完全可以在cpu下准备好并存储好,下次再用就行了。
后台任务是在进入项目后,点后台任务按钮创建的。
是的,每次都不一样,而且都是几十个G的数据。另外,即便手动创建,都有数据总量不能超过1G的限制。这条路已经走不通了
不知道我有没有理解错,但我觉得你回答的问题是『如何在后台使用命令行』,而我问的问题是,『如何用命令行创建后台任务』。
确实理解错了。。。
应该可以通过脚本任务实现,但是不能实现cpu和gpu的切换,你这个需求只能开一个gpu的环境,然后先cpu运行完之后再调用gpu
楼上正解。
只要你所有的命令都可以放到一个notebook页面,一键执行,那么后台任务就可以跑通。
具体可以参见这个项目:https://aistudio.baidu.com/aistudio/projectdetail/4401152
这个项目里面涉及到了挂载数据集,解压缩数据集,git clone下载套件,训练,评估,预测等全流程。