脚本任务间歇性报错

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

满城yan火发布于2021-09

单卡训练，同一份代码和启动指令，有时会报错，有时原封不动重新提交就可以正常运行。常见的报错信息如下：

1，FatalError: `Segmentation fault` is detected by the operating system. 2，

2，OSError: (External) Cuda error(2), out of memory.

0

收藏

回复

全部评论(3)

FutureSI

#2 回复于2021-09

显存爆了，调小点batch size 试试

0

回复

满城yan火

#3 回复于2021-09

FutureSI #2

显存爆了，调小点batch size 试试

定位了显存报错的地方，构建网络的位置就开始报错。有时重新提个脚本就ok。而且在notebook训练时不会报错，显存占用稳定在3G左右。

0

回复

深渊上的坑

#4 回复于2021-09

换成V100 4卡试试看？

0

回复