利用ernie做finetune任务,修改分类任务的loss为sigmoid_cross_entropy_with_logits,如下图所示 其中labels是one_hot形式 在训练过程中看到loss逐渐下降,但是预测时输出值不正常 可以看到,预测结果全部偏向于第一维
有个类似的问题,https://github.com/PaddlePaddle/Paddle/issues/11347,里面提到解决方式是修改label type from sparse_binary_vector to dense_vector,这种修改方法在ernie中不适用,请问如何修改ernie的配置来做multi label任务?
通过打印出训练阶段的logits发现问题所在,是读入数据标签的时候,计算标签的one_hot时,索引错位导致的。
利用ernie做finetune任务,修改分类任务的loss为sigmoid_cross_entropy_with_logits,如下图所示


其中labels是one_hot形式
在训练过程中看到loss逐渐下降,但是预测时输出值不正常
可以看到,预测结果全部偏向于第一维
有个类似的问题,https://github.com/PaddlePaddle/Paddle/issues/11347,里面提到解决方式是修改label type from sparse_binary_vector to dense_vector,这种修改方法在ernie中不适用,请问如何修改ernie的配置来做multi label任务?