[论文解读] On the equivalence between Kolmogorov-Smirnov and ROC curve metrics for binary classification

Paulo J. L. Adeodato, Silvio de Barros Melo|arXiv (Cornell University)|Jun 1, 2016

Medical Imaging and Analysis参考文献 9被引用 4

一句话总结

本文建立了受试者工作特征曲线下面积（AUC_ROC）与柯尔莫哥洛夫-斯米尔诺夫（KS）曲线下面积（AUC_KS）之间的数学等价性，证明了 AUC_ROC = 0.5 + AUC_KS。该结果使得可通过更简单的KS曲线高效计算AUC_ROC，该曲线以误报率作为自变量，同时实现了统计与信息论分类器评估框架之间的理论整合。

ABSTRACT

Binary decisions are very common in artificial intelligence. Applying a threshold on the continuous score gives the human decider the power to control the operating point to separate the two classes. The classifier,s discriminating power is measured along the continuous range of the score by the Area Under the ROC curve (AUC_ROC) in most application fields. Only finances uses the poor single point metric maximum Kolmogorov-Smirnov (KS) distance. This paper proposes the Area Under the KS curve (AUC_KS) for performance assessment and proves AUC_ROC = 0.5 + AUC_KS, as a simpler way to calculate the AUC_ROC. That is even more important for ROC averaging in ensembles of classifiers or n fold cross-validation. The proof is geometrically inspired on rotating all KS curve to make it lie on the top of the ROC chance diagonal. On the practical side, the independent variable on the abscissa on the KS curve simplifies the calculation of the AUC_ROC. On the theoretical side, this research gives insights on probabilistic interpretations of classifiers assessment and integrates the existing body of knowledge of the information theoretical ROC approach with the proposed statistical approach based on the thoroughly known KS distribution.

研究动机与目标

• 建立二分类中柯尔莫哥洛夫-斯米尔诺夫（KS）度量与受试者工作特征曲线下面积（AUC_ROC）之间的正式数学关系。
• 提出柯尔莫哥洛夫-斯米尔诺夫曲线下面积（AUC_KS）作为性能评估的实用且理论可靠的替代方案，以取代AUC_ROC。
• 通过利用KS曲线自变量（误报率）的几何与计算优势，简化AUC_ROC的计算。
• 统一基于KS分布的统计方法与分类器评估中的信息论ROC分析框架。

提出的方法

• 作者通过将KS曲线旋转以与ROC偶然对角线对齐的几何变换，推导出等价关系 AUC_ROC = 0.5 + AUC_KS。
• 该方法将KS曲线解释为正负类别得分差异的累积分布函数。
• 证明基于KS统计量测量两个类别经验累积分布函数之间最大垂直距离的事实。
• 该变换将KS曲线映射到ROC空间，揭示KS曲线下方面积通过所述线性关系直接贡献于AUC_ROC。
• 该方法将误报率作为KS曲线上自变量处理，从而简化AUC_KS计算的数值积分。

实验结果

研究问题

• RQ1 受试者工作特征曲线下面积（AUC_ROC）与柯尔莫哥洛夫-斯米尔诺夫曲线下面积（AUC_KS）之间是否存在直接的数学关系？
• RQ2 AUC_KS能否作为二分类器性能评估中AUC_ROC的计算更简单的替代方案？
• RQ3 将KS曲线几何变换至ROC空间如何揭示AUC_ROC与AUC_KS之间的等价性？
• RQ4 在分类器评估背景下，AUC_KS度量的概率解释是什么？

主要发现

• 本文证明了 AUC_ROC = 0.5 + AUC_KS，建立了两个度量之间直接且精确的数学等价性。
• AUC_KS度量简化了AUC_ROC的计算，因为误报率作为KS曲线上自变量，使得数值积分更加高效。
• 将KS曲线几何变换至ROC偶然对角线，为推导出的等价性提供了可视化与分析基础。
• 该结果通过以AUC_KS替代AUC_ROC计算，实现了集成方法与k折交叉验证中性能平均的更高效计算。