输出event.metrics里的auc如何计算
收藏
请问对于分类模型的损失函数,在多分类下,输出event.metrics里的auc是如何计算的?
应用模型库里的分类模型:
cost function:paddle.layer.classification_cost
trainer:paddle.trainer.SGD(cost=cost,extra_layers=paddle.evaluator.auc(input=prob, label=label),parameters=parameters,update_equation=adam_optimizer)
0
收藏
请登录后评论
event.metrics里的auc是如何计算的
多分类下,是把目标类当做最后一类,其他所有类当作一类,来计算auc的。auc 只能在二类下算。相当于把除去目标类的其他类平均了。
是否具有参考意义
多分类下可以把每一个类的准召都看下,error cost 都是全局指标。比如有65类,有一类全部分错,但整体分类准确率还是可以非常高,所以看每一个类的准召是一个常规做法。
一般每个指标有自己度量的东西,很多指标一起看是常规做法。有些类因为在所有样本中,出现概率很低,即使总是分错也没关系;但有些样本,虽然出现概率低,但是一旦分错,代价很高,比如欺诈检测。
因此,根据任务对各种因素均衡,来看是考虑全局最优,还是每一类都准确。评估指标可以都算,反应出更多侧面来选择,也是对模型的逐步了解。