首页 Paddle框架 帖子详情
输出event.metrics里的auc如何计算
收藏
快速回复
Paddle框架 问答深度学习模型训练 1380 1
输出event.metrics里的auc如何计算
收藏
快速回复
Paddle框架 问答深度学习模型训练 1380 1

请问对于分类模型的损失函数,在多分类下,输出event.metrics里的auc是如何计算的?

应用模型库里的分类模型:
cost function:paddle.layer.classification_cost
trainer:paddle.trainer.SGD(cost=cost,extra_layers=paddle.evaluator.auc(input=prob, label=label),parameters=parameters,update_equation=adam_optimizer)

0
收藏
回复
全部评论(1)
时间顺序
A
AIStudio786307
#2 回复于2018-05

event.metrics里的auc是如何计算的

多分类下,是把目标类当做最后一类,其他所有类当作一类,来计算auc的。auc 只能在二类下算。相当于把除去目标类的其他类平均了。

是否具有参考意义

多分类下可以把每一个类的准召都看下,error cost 都是全局指标。比如有65类,有一类全部分错,但整体分类准确率还是可以非常高,所以看每一个类的准召是一个常规做法。

一般每个指标有自己度量的东西,很多指标一起看是常规做法。有些类因为在所有样本中,出现概率很低,即使总是分错也没关系;但有些样本,虽然出现概率低,但是一旦分错,代价很高,比如欺诈检测。

因此,根据任务对各种因素均衡,来看是考虑全局最优,还是每一类都准确。评估指标可以都算,反应出更多侧面来选择,也是对模型的逐步了解。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户