用的Paddle框架,是基础的分类网络模型,十来层。一跑到九十多轮就会自动重启
嗯,我竟然给python整了个内存泄漏,哈哈哈哈
其实是不正确的使用了matplotlab的图片显示功能。
在哪里自动重启啊? Studio吗
给楼主点赞。
看来这种有规律重启的问题大多是资源耗尽导致的
是我在测试时用maplotlib打印输出,而训练时忘了注释打印代码,导致内存不断被图片缓存占用,直到溢出就重启了
找到原因了,是我自己写的代码导致了内存溢出
一个特点是,loss很低了,几乎趋近于0.是不是因此产生了异常值导致了重启
推测,会不会是某些参数错误,九十多轮后累积导致的
这种情况没有报错信息,感觉有点无从下手
嗯,我竟然给python整了个内存泄漏,哈哈哈哈
其实是不正确的使用了matplotlab的图片显示功能。
在哪里自动重启啊? Studio吗
给楼主点赞。
看来这种有规律重启的问题大多是资源耗尽导致的
是我在测试时用maplotlib打印输出,而训练时忘了注释打印代码,导致内存不断被图片缓存占用,直到溢出就重启了
找到原因了,是我自己写的代码导致了内存溢出
一个特点是,loss很低了,几乎趋近于0.是不是因此产生了异常值导致了重启
推测,会不会是某些参数错误,九十多轮后累积导致的
这种情况没有报错信息,感觉有点无从下手