[论文解读] Prediction and outlier detection in classification problems

Leying Guan, Rob Tibshirani|arXiv (Cornell University)|May 10, 2019

Advanced Statistical Methods and Models被引用 5

一句话总结

该论文提出BCOPS，一种用于多分类的置信预测方法，通过构造具有有限样本覆盖保证的预测集，并利用空集检测异常值。通过在保持各类覆盖平衡的同时优化样本外损失，BCOPS在无需分布假设的情况下提升了分布偏移下的鲁棒性。

ABSTRACT

We consider the multi-class classification problem when the training data and the out-of-sample test data may have different distributions and propose a method called BCOPS (balanced and conformal optimized prediction sets). BCOPS constructs a prediction set $C(x)$ as a subset of class labels, possibly empty. It tries to optimize the out-of-sample performance, aiming to include the correct class as often as possible, but also detecting outliers $x$, for which the method returns no prediction (corresponding to $C(x)$ equal to the empty set). The proposed method combines supervised-learning algorithms with the method of conformal prediction to minimize a misclassification loss averaged over the out-of-sample distribution. The constructed prediction sets have a finite-sample coverage guarantee without distributional assumptions. We also propose a method to estimate the outlier detection rate of a given method. We prove asymptotic consistency and optimality of our proposals under suitable assumptions and illustrate our methods on real data examples.

研究动机与目标

• 解决多分类中训练数据与测试数据之间分布不匹配的挑战。
• 开发一种方法，在测试数据与训练数据不同时仍能提供具有有限样本覆盖的可靠预测集。
• 通过在输入远离训练数据时返回空预测集来检测异常值。
• 通过约束优化框架直接最小化误分类损失，以优化样本外性能。
• 在现实数据分布偏移下，提供理论基础坚实、一致且最优的预测与异常值检测方法。

提出的方法

• BCOPS使用预测得分的优化，在符合预测框架下构造类标签的子集 $ C(x) $（可能为空）作为预测集。
• 将监督学习模型与置信预测相结合，确保在无需分布假设下实现有限样本覆盖。
• 该方法优化一个损失函数，以平衡正确类别包含与异常值检测，惩罚错误预测并鼓励在异常输入上拒绝预测。
• 利用各类预测得分的样本分位数定义决策阈值，确保在交换性条件下覆盖的有效性。
• 通过各类间平衡加权机制，防止对主导类别的偏差。
• 通过基于测试数据中空预测集比例的插值估计器来估计异常值检测率。

实验结果

研究问题

• RQ1 当测试数据分布与训练数据不同时，预测方法是否仍能保持高覆盖与低误分类损失？
• RQ2 分类方法如何检测并拒绝预测那些远离训练分布的异常测试样本？
• RQ3 一种同时执行异常值检测的预测集方法，其理论有限样本覆盖保证是什么？
• RQ4 在分布偏移下，BCOPS与密度水平集相比性能如何？
• RQ5 在适当的正则性条件下，该方法是否渐近一致且最优？

主要发现

• BCOPS在无需对数据做任何分布假设的情况下，实现了预测集的有限样本覆盖保证。
• 在适当的正则性条件下，该方法渐近最小化样本外误分类损失，表现出一致性和最优性。
• 实证结果表明，BCOPS通过在异常测试样本上返回空预测集，成功检测出异常值，而标准分类器则无法做到。
• 理论分析证实，估计的预测集覆盖概率收敛于真实覆盖概率，收敛速度取决于密度估计与带宽选择。
• 在低维子空间中类别分离的场景下，BCOPS优于Oracle密度水平集，此时基于密度的方法无法适当地拒绝预测。
• 异常值检测率被一致地低偏差估计，从而可可靠评估模型在分布外数据上的可靠性。