首页 Paddle框架 帖子详情
Loss为NaN是在工业界真正深度学习实践时候容易遇到的一个问题,如何处理? 已解决
收藏
快速回复
Paddle框架 其他炼丹技巧 419 1
Loss为NaN是在工业界真正深度学习实践时候容易遇到的一个问题,如何处理? 已解决
收藏
快速回复
Paddle框架 其他炼丹技巧 419 1

可能由于网络的设计问题,Loss过大(Loss为NaN)会导致梯度爆炸。

如果没有改网络结构,但是出现了NaN,可能是数据读取导致,比如标签对应关系错误。

还可以检查下网络中是否会出现除0,log0的操作等。

DeepGeGe
已解决
2# 回复于2021-12
此外,数据没有归一化也可能会出现损失为NaN,这种情况下一般会最开始损失特别大,几个epoch之后就NaN了。
0
收藏
回复
全部评论(1)
时间顺序
DeepGeGe
#2 回复于2021-12

此外,数据没有归一化也可能会出现损失为NaN,这种情况下一般会最开始损失特别大,几个epoch之后就NaN了。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户