首页 PaddleNLP 帖子详情
用ernie做multi label 任务时预测结果全部偏向于第一维
收藏
快速回复
PaddleNLP 问答NLP 823 1
用ernie做multi label 任务时预测结果全部偏向于第一维
收藏
快速回复
PaddleNLP 问答NLP 823 1

利用ernie做finetune任务,修改分类任务的loss为sigmoid_cross_entropy_with_logits,如下图所示
image
其中labels是one_hot形式
在训练过程中看到loss逐渐下降,但是预测时输出值不正常
image
可以看到,预测结果全部偏向于第一维

有个类似的问题,https://github.com/PaddlePaddle/Paddle/issues/11347,里面提到解决方式是修改label type from sparse_binary_vector to dense_vector,这种修改方法在ernie中不适用,请问如何修改ernie的配置来做multi label任务?

0
收藏
回复
全部评论(1)
时间顺序
AIStudio786079
#2 回复于2019-12

通过打印出训练阶段的logits发现问题所在,是读入数据标签的时候,计算标签的one_hot时,索引错位导致的。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户