[论文解读] Regression with reject option and application to kNN

Christophe Denis, Mohamed Hebiri+1 more|arXiv (Cornell University)|Jun 30, 2020

Statistical Methods and Inference参考文献 4被引用 7

一句话总结

本文提出了一种具有拒绝选项的统计上合理的回归框架，当不确定性（以条件方差衡量）超过阈值时，预测结果将被拒绝。该方法引入了一个两步程序：首先使用标注数据估计回归函数和方差函数；其次使用未标注数据校准拒绝率，从而在kNN框架下实现接近最优的性能，并在较弱条件下推导出收敛速率。

ABSTRACT

We investigate the problem of regression where one is allowed to abstain from predicting. We refer to this framework as regression with reject option as an extension of classification with reject option. In this context, we focus on the case where the rejection rate is fixed and derive the optimal rule which relies on thresholding the conditional variance function. We provide a semi-supervised estimation procedure of the optimal rule involving two datasets: a first labeled dataset is used to estimate both regression function and conditional variance function while a second unlabeled dataset is exploited to calibrate the desired rejection rate. The resulting predictor with reject option is shown to be almost as good as the optimal predictor with reject option both in terms of risk and rejection rate. We additionally apply our methodology with kNN algorithm and establish rates of convergence for the resulting kNN predictor under mild conditions. Finally, a numerical study is performed to illustrate the benefit of using the proposed procedure.

研究动机与目标

• 为高风险回归场景（如医疗诊断）中错误预测可能造成严重后果的问题提供解决方案。
• 开发一种统计上稳健的回归方法，实现可控的拒绝率，允许在预测置信度较低时选择不预测。
• 通过利用条件方差作为不确定性度量，将分类拒绝选项框架扩展至回归任务。
• 提供一种通用的即插即用型程序，适用于任何回归估计器（包括kNN）。
• 在最小平滑性假设下，推导kNN-based预测器的收敛速率。

提出的方法

• 通过阈值化条件方差函数，推导出具有拒绝选项的最优预测器，该函数量化了每个输入点的预测不确定性。
• 提出一种两步估计程序：第一步，在标注数据集上估计回归函数和条件方差函数；第二步，使用未标注数据集校准拒绝阈值，以满足固定的拒绝率。
• 该方法采用半监督策略，结合标注数据进行模型估计，利用未标注数据控制拒绝率。
• 证明该程序在渐近意义上与最优预测器在风险和拒绝率方面均等价。
• 对于kNN，论文在回归函数和方差函数满足较弱正则性条件下，建立了所得到预测器的收敛速率。
• 理论分析依赖于诸如分层论证、重尾随机变量的矩不等式以及Wasserstein距离表示等工具。

实验结果

研究问题

• RQ1 如何确定具有固定拒绝率的最优回归规则？其与条件方差的关系如何表达？
• RQ2 如何设计一种实际且计算高效的程序，以近似最优的拒绝选项预测器？
• RQ3 所提出的方法能否在风险和拒绝率两方面均实现接近最优预测器的性能？
• RQ4 在所提出的拒绝选项框架下，kNN-based预测器的收敛速率可否被推导出来？
• RQ5 该方法在实际应用中表现如何，特别是在与无拒绝标准的常规回归方法对比时？

主要发现

• 证明了具有固定拒绝率的最优预测器等价于将条件方差函数在由期望拒绝率决定的水平上进行阈值化。
• 所提出的两步程序在较弱假设下，其风险和拒绝率性能几乎与最优预测器无法区分。
• 基于kNN的拒绝选项预测器，其风险的收敛速率为 $ n^{-(eta+1)/(d+2)} $ 阶，其中 $ \beta $ 为回归函数的光滑性参数。
• 与先前工作相比，该方法无需边际型假设或对估计器施加强平滑性条件，因而具有更广泛的应用范围。
• 数值实验表明该方法具有实际优势，显示在高不确定性区域采用拒绝策略可显著提升性能。
• 通过使用高级工具（如尾概率界和分层论证）建立了理论保证，确保了有限样本设置下的稳健性。