训练时报错提示显存不足,如何解决?
收藏
训练模型时报显存不足是一个比较常见的错误,最简单无脑的方法是减小batch_size,但是除了这个之外,还有一些其他的方法,即及时释放清除显存垃圾。
DeepGeGe
已解决
2#
回复于2021-12
可以开启以下三个选项: #一旦不再使用即释放内存垃圾,=1.0 垃圾占用内存大小达到10G时,释放内存垃圾 export FLAGS_eager_delete_tensor_gb=0.0 #启用快速垃圾回收策略,不等待cuda kernel 结束,直接释放显存 export FLAGS_fast_eager_deletion_mode=1 #该环境变量设置只占用0%的显存 export FLAGS_fraction_of_gpu_memory_to_use=0
0
收藏
请登录后评论
可以开启以下三个选项:
#一旦不再使用即释放内存垃圾,=1.0 垃圾占用内存大小达到10G时,释放内存垃圾
export FLAGS_eager_delete_tensor_gb=0.0
#启用快速垃圾回收策略,不等待cuda kernel 结束,直接释放显存
export FLAGS_fast_eager_deletion_mode=1
#该环境变量设置只占用0%的显存
export FLAGS_fraction_of_gpu_memory_to_use=0