后台任务可以用命令行的方式创建吗?
收藏
快速回复
AI Studio平台使用 问答学习资料 812 7
后台任务可以用命令行的方式创建吗?
收藏
快速回复
AI Studio平台使用 问答学习资料 812 7

我有一个任务,数据准备需要5个小时,数据准备本身GPU无法加速,准备好数据后,需要GPU来训练。但这种操作我需要做几十遍。我想用CPU机器来做数据准备,然后自动提交一个GPU后台任务。这就需要用命令行的方式操作,不知道AI Studio平台是否提供这个功能?

 

0
收藏
回复
全部评论(7)
时间顺序
z
zhujiehaode
#2 回复于2022-10

sh就是命令行

1
回复
天马行空
#3 回复于2022-10

数据是每次都变的吗? 那样没有什么好办法。

如果数据不变,完全可以在cpu下准备好并存储好,下次再用就行了。

 

后台任务是在进入项目后,点后台任务按钮创建的。

1
回复
m
miz2014
#4 回复于2022-10
数据是每次都变的吗? 那样没有什么好办法。 如果数据不变,完全可以在cpu下准备好并存储好,下次再用就行了。   后台任务是在进入项目后,点后台任务按钮创建的。

是的,每次都不一样,而且都是几十个G的数据。另外,即便手动创建,都有数据总量不能超过1G的限制。这条路已经走不通了

1
回复
m
miz2014
#5 回复于2022-10
sh就是命令行

不知道我有没有理解错,但我觉得你回答的问题是『如何在后台使用命令行』,而我问的问题是,『如何用命令行创建后台任务』。

1
回复
z
zhujiehaode
#6 回复于2022-10
miz2014 #5
不知道我有没有理解错,但我觉得你回答的问题是『如何在后台使用命令行』,而我问的问题是,『如何用命令行创建后台任务』。

确实理解错了。。。

1
回复
伟大的小号446
#7 回复于2022-10

应该可以通过脚本任务实现,但是不能实现cpu和gpu的切换,你这个需求只能开一个gpu的环境,然后先cpu运行完之后再调用gpu

1
回复
天马行空
#8 回复于2022-11

楼上正解。

 

只要你所有的命令都可以放到一个notebook页面,一键执行,那么后台任务就可以跑通。

具体可以参见这个项目:https://aistudio.baidu.com/aistudio/projectdetail/4401152

这个项目里面涉及到了挂载数据集,解压缩数据集,git clone下载套件,训练,评估,预测等全流程。

 

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户