[论文解读] Receiver Operating Characteristic (ROC) Curves

Peter Vogel, Vogel, Peter|arXiv (Cornell University)|Sep 13, 2018

Reliability and Agreement in Measurement参考文献 38被引用 39

一句话总结

本文提出了一种灵活的两参数贝塔分布族，用于建模受试者工作特征（ROC）曲线，建立了ROC曲线与累积分布函数（CDF）之间的直接等价关系。研究表明，该贝塔分布族在拟合经验ROC曲线时优于经典的双正态模型，尤其是在必须满足凹性约束的条件下，并提供了用于估计和检验的渐近与蒙特卡洛推断工具（R语言实现）。

ABSTRACT

Receiver operating characteristic (ROC) curves are used ubiquitously to evaluate covariates, markers, or features as potential predictors in binary problems. We distinguish raw ROC diagnostics and ROC curves, elucidate the special role of concavity in interpreting and modelling ROC curves, and establish an equivalence between ROC curves and cumulative distribution functions (CDFs). These results support a subtle shift of paradigms in the statistical modelling of ROC curves, which we view as curve fitting. We introduce the flexible two-parameter beta family for fitting CDFs to empirical ROC curves, derive the large sample distribution of the minimum distance estimator and provide software in R for estimation and testing, including both asymptotic and Monte Carlo based inference. In a range of empirical examples the beta family and its three- and four-parameter ramifications that allow for straight edges fit better than the classical binormal model, particularly under the vital constraint of the fitted curve being concave.

研究动机与目标

• 为解决经典双正态模型在拟合经验ROC曲线时的局限性，特别是当必须满足凹性要求时。
• 建立ROC曲线与累积分布函数（CDF）之间的正式等价关系，推动向基于曲线拟合方法的范式转变。
• 开发一种灵活的两参数贝塔分布族，用于建模CDF，确保凹性并更准确地拟合经验数据。
• 推导贝塔分布族最小距离估计量的大样本分布，并提供稳健的推断方法。
• 提供实用的R软件，用于估计、假设检验，以及基于渐近和蒙特卡洛方法的ROC曲线推断。

提出的方法

• 利用ROC曲线与CDF之间的数学等价性，使已知分布族可用于建模。
• 引入两参数贝塔分布族作为灵活的凹CDF，用于拟合经验ROC曲线。
• 应用最小距离估计法将贝塔分布族拟合到经验ROC数据，最小化观测曲线与拟合曲线之间的距离。
• 基于Millar（1984）和Hsieh与Turnbull（1996）的理论结果，推导最小距离估计量的大样本分布。
• 提供R软件用于估计与推断，包括渐近近似和蒙特卡洛模拟以进行假设检验。
• 将两参数贝塔分布族扩展为三参数和四参数变体，允许出现直线段，从而增强拟合灵活性。

实验结果

研究问题

• RQ1 贝塔分布族的CDF能否在凹性约束下，比经典双正态模型更优地拟合经验ROC曲线？
• RQ2 当将贝塔分布族拟合到经验ROC数据时，最小距离估计量的大样本分布是什么？
• RQ3 如何利用ROC曲线与CDF之间的等价性，以改进二分类问题中的统计建模与推断？
• RQ4 贝塔分布族最小距离估计量的有限样本性质是什么？如何通过蒙特卡洛方法评估？
• RQ5 具有额外参数（三参数与四参数变体）的灵活贝塔分布族能否比标准双正态模型更好地捕捉经验ROC曲线的形状？

主要发现

• 与经典双正态模型相比，两参数贝塔分布族在拟合经验ROC曲线方面表现更优，尤其是在必须满足凹性要求时。
• 当且仅当形状参数满足 α ≤ 1 且 β ≥ 2 − α 时，贝塔分布族能确保拟合ROC曲线的凹性。
• 贝塔分布族最小距离估计量的大样本分布渐近服从正态分布，且具有明确定义的渐近协方差结构。
• 蒙特卡洛模拟验证了推断程序的可靠性，尤其在小样本至中等样本量下，渐近近似可能不足时表现更优。
• 贝塔分布族的三参数与四参数扩展版本可实现直线段，进一步提升拟合效果，尤其在经验ROC曲线呈现线性段时表现更佳。
• 来自生物医学与气象学的实际数据示例表明，贝塔分布族在拟合质量与理论约束遵循性方面，始终优于双正态模型。