首页 Paddle框架 帖子详情
loss=nan?? 已解决
收藏
快速回复
Paddle框架 问答模型训练 805 4
loss=nan?? 已解决
收藏
快速回复
Paddle框架 问答模型训练 805 4

有朋友知道这是因为什么吗?

5# 回复于2021-12
1 跟loss有关,比如出现负值用的bceloss,ln函数要求为正,你送了个负数进去,就会变成nan。 2 跟你的学习率有关,学习率太大,网络直接崩溃了,啥都没学到,loss也会出现nan 基本就这俩问题
展开
0
收藏
回复
全部评论(4)
时间顺序
DeepGeGe
#2 回复于2021-12

官网关于loss为NaN的回答:

1
回复
FutureSI
#3 回复于2021-12

学习率调小点试试

1
回复
FutureSI
#4 回复于2021-12

如果有多个部分的loss,分别打印下,看看具体哪个nan了

1
回复
十进制到二进制
#5 回复于2021-12

1 跟loss有关,比如出现负值用的bceloss,ln函数要求为正,你送了个负数进去,就会变成nan。

2 跟你的学习率有关,学习率太大,网络直接崩溃了,啥都没学到,loss也会出现nan

基本就这俩问题

1
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户