利用ernie做finetune任务,修改分类任务的loss为sigmoid_cross_entropy_with_logits,如下图所示 其中labels是one_hot形式 在训练过程中看到loss逐渐下降,但是预测时输出值不正常 可以看到,预测结果全部偏向于第一维
有个类似的问题,https://github.com/PaddlePaddle/Paddle/issues/11347,里面提到解决方式是修改label type from sparse_binary_vector to dense_vector,这种修改方法在ernie中不适用,请问如何修改ernie的配置来做multi label任务?
通过打印出训练阶段的logits发现问题所在,是读入数据标签的时候,计算标签的one_hot时,索引错位导致的。
利用ernie做finetune任务,修改分类任务的loss为sigmoid_cross_entropy_with_logits,如下图所示
![image](https://github-userimages.cdn.bcebos.com/6856773/70765856-ffac4000-1d96-11ea-97a8-8d60b3fc79c0.png)
![image](https://github-userimages.cdn.bcebos.com/6856773/70766016-78ab9780-1d97-11ea-8240-30ae64dd216e.png)
其中labels是one_hot形式
在训练过程中看到loss逐渐下降,但是预测时输出值不正常
可以看到,预测结果全部偏向于第一维
有个类似的问题,https://github.com/PaddlePaddle/Paddle/issues/11347,里面提到解决方式是修改label type from sparse_binary_vector to dense_vector,这种修改方法在ernie中不适用,请问如何修改ernie的配置来做multi label任务?