有朋友知道这是因为什么吗?
官网关于loss为NaN的回答:
学习率调小点试试
如果有多个部分的loss,分别打印下,看看具体哪个nan了
1 跟loss有关,比如出现负值用的bceloss,ln函数要求为正,你送了个负数进去,就会变成nan。
2 跟你的学习率有关,学习率太大,网络直接崩溃了,啥都没学到,loss也会出现nan
基本就这俩问题
官网关于loss为NaN的回答:
学习率调小点试试
如果有多个部分的loss,分别打印下,看看具体哪个nan了
1 跟loss有关,比如出现负值用的bceloss,ln函数要求为正,你送了个负数进去,就会变成nan。
2 跟你的学习率有关,学习率太大,网络直接崩溃了,啥都没学到,loss也会出现nan
基本就这俩问题