[论文解读] The Brier Score under Administrative Censoring: Problems and Solutions

Håvard Kvamme, Ørnulf Borgan|arXiv (Cornell University)|Dec 18, 2019

Statistical Methods and Inference参考文献 19被引用 4

一句话总结

本文识别出在已知删失时间（即行政删失）设置下，逆概率删失加权（IPCW）Brier 评分存在关键缺陷——当删失时间可由协变量预测时，该评分可能产生偏差且具有误导性。为解决此问题，作者提出一种新型评估指标——行政Brier评分，该指标无需估计删失分布，在行政删失下保持有效性，能为生存模型提供可靠的性能评估，尤其适用于机器学习应用（如客户流失预测）。

ABSTRACT

The Brier score is commonly used for evaluating probability predictions. In survival analysis, with right-censored observations of the event times, this score can be weighted by the inverse probability of censoring (IPCW) to retain its original interpretation. It is common practice to estimate the censoring distribution with the Kaplan-Meier estimator, even though it assumes that the censoring distribution is independent of the covariates. This paper discusses the general impact of the censoring estimates on the Brier score and shows that the estimation of the censoring distribution can be problematic. In particular, when the censoring times can be identified from the covariates, the IPCW score is no longer valid. For administratively censored data, where the potential censoring times are known for all individuals, we propose an alternative version of the Brier score. This administrative Brier score does not require estimation of the censoring distribution and is valid even if the censoring times can be identified from the covariates.

研究动机与目标

• 识别并诊断在行政删失设置下，当删失时间可由协变量预测时，IPCW Brier评分中的偏差问题。
• 证明在机器学习中常用的二值分类器，由于该偏差的存在，即使其预测性能劣于生存模型，仍可能在IPCW Brier评分上表现出看似优异的结果。
• 开发一种不依赖删失分布估计的新评估指标，且在行政删失下保持有效性。
• 为生存分析中时间至事件预测的评估提供一种稳健、实用的替代方案，尤其适用于神经网络和机器学习方法。

提出的方法

• 提出行政Brier评分作为非IPCW替代方法，直接利用已知的删失时间 $C^*_i$，无需估计删失分布。
• 将行政Brier评分定义为预测生存概率与观测事件指标之间的均方误差，仅通过已知的行政删失时间进行调整。
• 证明行政Brier评分的最小化器在 $C^*_i > t$ 时对应真实生存函数 $S_i(t)$，否则为零，从而确保在协变量相关删失下的有效性。
• 证明在删失数据上训练的二值分类器（BCE方法）所最小化的损失函数，其最小化器在行政删失下等价于IPCW Brier评分，从而解释该偏差的成因。
• 通过模拟实验和真实世界KKBox流失数据集，比较在删失可预测性变化条件下的IPCW Brier评分与所提出的行政Brier评分的表现。
• 建立行政Brier评分与非IPCW损失函数最小化器之间的理论与实证等价性，证明其有效性与鲁棒性。

实验结果

研究问题

• RQ1 在行政删失设置下，当删失时间可由协变量预测时，IPCW Brier评分是否会产生偏差评估？
• RQ2 为何二值分类器在IPCW Brier评分中常表现优于生存模型，尽管其预测准确性更差？
• RQ3 能否构建一种Brier评分变体，避免删失分布估计，且在行政删失下保持有效性？
• RQ4 在模拟实验和真实数据（已知删失时间）中，行政Brier评分与IPCW Brier评分的表现如何比较？

主要发现

• 当删失时间 $C^*_i$ 可由协变量预测时，IPCW Brier评分会产生偏差，导致二值分类器获得误导性地有利的评分。
• 在删失数据上训练的二值分类器所最小化的损失函数，其最小化器在行政删失下等价于IPCW Brier评分，解释了其在该指标上表现被高估的原因。
• 所提出的行政Brier评分无需估计删失分布，在删失时间可由协变量完全预测的情况下仍保持有效性。
• 在模拟实验和真实数据（KKBox流失数据集）中，行政Brier评分能正确识别出更优的生存模型，而IPCW Brier评分在协变量相关删失下则无法做到。
• 行政Brier评分在理论上是某非IPCW损失函数最小化器的解，确保其无偏估计真实生存概率。
• 在涉及行政删失的机器学习应用中，行政Brier评分比基于IPCW的指标更简单易用，也更可靠。