训练时报错提示显存不足,如何解决?
收藏
训练时报错提示显存不足,如何解决?
旧鸱c_
已解决
2#
回复于2021-08
可以尝试按如下方法解决: 检查是当前模型是否占用了过多显存,可尝试减小batch_size ; 开启以下三个选项: #一旦不再使用即释放内存垃圾,=1.0 垃圾占用内存大小达到10G时,释放内存垃圾 export FLAGS_eager_delete_tensor_gb=0.0 #启用快速垃圾回收策略,不等待cuda kernel 结束,直接释放显存 export FLAGS_fast_eager_deletion_mode=1 #该环境变量设置只占用0%的显存 export FLAGS_fraction_of_gpu_memory_to_use=0 详细请参考官方文档存储分配与优化 调整相关配置。 此外,建议您使用AI Studio 学习与 实训社区训练,获取免费GPU算力,提升您的训练效率。
0
收藏
请登录后评论
可以尝试按如下方法解决:
检查是当前模型是否占用了过多显存,可尝试减小batch_size ;
开启以下三个选项:
#一旦不再使用即释放内存垃圾,=1.0 垃圾占用内存大小达到10G时,释放内存垃圾
export FLAGS_eager_delete_tensor_gb=0.0
#启用快速垃圾回收策略,不等待cuda kernel 结束,直接释放显存
export FLAGS_fast_eager_deletion_mode=1
#该环境变量设置只占用0%的显存
export FLAGS_fraction_of_gpu_memory_to_use=0
详细请参考官方文档存储分配与优化 调整相关配置。
此外,建议您使用AI Studio 学习与 实训社区训练,获取免费GPU算力,提升您的训练效率。