AUC
理解了ROC之后,AUC就容易了。因为AUC完全源于ROC,它的英文是Area under curve,也就是ROC曲线当中曲形的面积。
那么,这个ROC是怎么算出来的呢?
我们来举一个例子,假设我们现在有一系列预测结果:
我们列一下这个模型的混淆矩阵:
我们代入算一下FPR和TPR,可以得到TPR是3 / (3 2) = 0.6,对应的FPR是1 / (1 4) = 0.2。
我们把这个点代入ROC曲线,可以得到:
看起来像是那么回事了,但还是有些怪怪的,这看起来也不像是一个曲线呀。这是因为我们模型预测的结果直接拿的是01值,对于一些硬分类器,比如SVM和贝叶斯,0就是0,1就是1,我们得到的就是这样一个折线图。但如果是一些根据阈值划分结果的软分类器,比如LR、GBDT等,我们得到的就是一个浮点值,我们调整阈值就会得到不同的结果,就会更加像是曲线。
我们还用刚才的样本举例: