谈一谈这个后台运行的鸡肋之处
收藏
快速回复
AI Studio平台使用 其他Notebook项目 2082 34
谈一谈这个后台运行的鸡肋之处
收藏
快速回复
AI Studio平台使用 其他Notebook项目 2082 34

最近Notebook新出了后台运行的功能,在你生成新版本的时候可以选择这个版本进行后台运行。但是目前这个功能我感觉还是个鸡肋,原因如下:

  1. 首先,后台运行需要生成新版本,然后用新版本运行。但是难受的是,最新的Notebook不支持1G以上的文件的了,也就是说很多中间数据不能保存接着用了。这样如果你想后台运行,只能把中间数据下载下来,挂载到数据集,然后再运行。或者干脆重新运行。
  2. 其次,重新运行的话,wget等命令被禁止了。我不知道是不是只有我遇到这个问题,反正是无法下载。那么涉及下载数据的程序便无法后台运行。由于第一点,我们也不能把数据保存下来,那么,我怎么用后台运行?
  3. 最后,后台运行只有运行完才会生成文件,才会让你导入Notebook看结果,这样所有中间过程就都是盲的,我没法知道结果是不是自己想要的,我就还不如直接在网页挂着。其实,我也是这么做的。

综上,希望官方可以设置的更加合理一点,否则,这个新增的功能,唯一好的就是不限制70小时周调用量了吧。

0
收藏
回复
全部评论(34)
时间顺序
3
337954205
#2 回复于2020-10

华生被你发现了盲点

这个唯一的好处就是70小时(狗头保命)

0
回复
没入门的研究生
#3 回复于2020-10
华生被你发现了盲点 这个唯一的好处就是70小时(狗头保命)

怕不是真的就靠着这个续命吧?我是拒绝的!

0
回复
AIStudio810260
#4 回复于2020-10

感觉就是为了70小时而生的emmmmm

所以,各位还是来用脚本吧,(此处附加脚本任务示例教程)(狗头保命)23333

0
回复
Zohar
#5 回复于2020-10

我来吃个瓜~~

0
回复
AIStudio810261
#6 回复于2020-10

非常感谢您的反馈. 我找相关RD一起商量一下如何改进

0
回复
AIStudio810261
#7 回复于2020-10
感觉就是为了70小时而生的emmmmm 所以,各位还是来用脚本吧,(此处附加脚本任务示例教程)(狗头保命)23333

其实是我们尝试做Notebook和脚本任务的融合. 毕竟Notebook可以调试, 调完立马后台训起. 原来是这么想的, 但给大家带来很多不必要的麻烦, 非常抱歉

0
回复
没入门的研究生
#8 回复于2020-10
其实是我们尝试做Notebook和脚本任务的融合. 毕竟Notebook可以调试, 调完立马后台训起. 原来是这么想的, 但给大家带来很多不必要的麻烦, 非常抱歉

哈哈,谢谢!!

0
回复
没入门的研究生
#9 回复于2020-10
感觉就是为了70小时而生的emmmmm 所以,各位还是来用脚本吧,(此处附加脚本任务示例教程)(狗头保命)23333

可以考虑!其实我昨天还在看你的脚本整合贴。

0
回复
nanting03
#10 回复于2020-10

还有一个问题,就是用这个后台运行跑程序,跑了很久,告诉我失败了,但是也不知道哪里的问题导致失败的,不知道怎么修改了。

0
回复
没入门的研究生
#11 回复于2020-10
nanting03 #10
还有一个问题,就是用这个后台运行跑程序,跑了很久,告诉我失败了,但是也不知道哪里的问题导致失败的,不知道怎么修改了。

你把这个跑的任务导入Notebook,会有报错提醒。

0
回复
3
337954205
#12 回复于2020-10

其实我完全不需要Notebook这么高端的东西

我就要一个ssh连过来的终端就好,让我瞅瞅我的程序它在干什么就行。。。

0
回复
nanting03
#13 回复于2020-10
你把这个跑的任务导入Notebook,会有报错提醒。

任务运行失败,是无法导入notebook的,就如下图所示,如果是任务运行完成的话再导入是可以看到哪里错了的。

0
回复
AIStudio810260
#14 回复于2020-10
其实是我们尝试做Notebook和脚本任务的融合. 毕竟Notebook可以调试, 调完立马后台训起. 原来是这么想的, 但给大家带来很多不必要的麻烦, 非常抱歉

Notebook直接转python脚本貌似很多坑……

0
回复
没入门的研究生
#15 回复于2020-10
nanting03 #13
任务运行失败,是无法导入notebook的,就如下图所示,如果是任务运行完成的话再导入是可以看到哪里错了的。 [图片]

这就很尴尬了。我的也会有任务失败,但是提示的是运行完成。导入后会发现在某个块断了。

0
回复
暮光の灵
#16 回复于2020-10

出门左转脚本任务(/狗头)

0
回复
AIStudio810258
#17 回复于2020-10

原来还有这些玩法~

0
回复
没入门的研究生
#18 回复于2020-10
出门左转脚本任务(/狗头)

昨天折腾了好久的脚本,多卡总是报错。

0
回复
AIStudio810260
#19 回复于2020-10
昨天折腾了好久的脚本,多卡总是报错。

其实NLP不太需要多卡吧/狗头 GPU也用不了多少很浪费啊

0
回复
没入门的研究生
#20 回复于2020-10
其实NLP不太需要多卡吧/狗头 GPU也用不了多少很浪费啊

Plato-2一张卡一个周期要跑20个小时,还是batch_size=16000的情况下。

0
回复
没入门的研究生
#21 回复于2020-10
其实NLP不太需要多卡吧/狗头 GPU也用不了多少很浪费啊

我是说那个开放域对话的千言比赛。数据量太大了。

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户