[论文解读] Uncertainty Sets for Image Classifiers using Conformal Prediction

Anastasios N. Angelopoulos, Stephen Bates+2 more|arXiv (Cornell University)|Sep 29, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用 31

一句话总结

本文提出 Regularized Adaptive Prediction Sets (RAPS)，一种基于等分校准的方法，可将任意图像分类器转化为具有有限样本覆盖率保证的预测集，产生比朴素方法或 APS 更小且更具自适应性的不确定性集，并在 ImageNet 上使用多种 CNN 骨干网络进行展示。

ABSTRACT

Convolutional image classifiers can achieve high predictive accuracy, but quantifying their uncertainty remains an unresolved challenge, hindering their deployment in consequential settings. Existing uncertainty quantification techniques, such as Platt scaling, attempt to calibrate the network's probability estimates, but they do not have formal guarantees. We present an algorithm that modifies any classifier to output a predictive set containing the true label with a user-specified probability, such as 90%. The algorithm is simple and fast like Platt scaling, but provides a formal finite-sample coverage guarantee for every model and dataset. Our method modifies an existing conformal prediction algorithm to give more stable predictive sets by regularizing the small scores of unlikely classes after Platt scaling. In experiments on both Imagenet and Imagenet-V2 with ResNet-152 and other classifiers, our scheme outperforms existing approaches, achieving coverage with sets that are often factors of 5 to 10 smaller than a stand-alone Platt scaling baseline.

研究动机与目标

• 阐明在图像分类中超越点估计的可操作性不确定性量化的必要性。
• 开发一种快速、与模型无关的方法来产生具有有限样本覆盖率保证的预测不确定性集。
• 通过稳定尾部概率来改进现有的符合预测方法，以产生更小、以及更具自适应性的集合。
• 在大规模数据集（ImageNet、ImageNet-V2）上、在多种 CNN 架构上展示实际性能提升。

提出的方法

• 从产生类别概率的预训练图像分类器开始。
• 按预测概率对类别排序并引入正则化项以惩罚包含不太可能的尾部类别。
• 定义一个符合预测校准方案，选择一个调参参数 τ 以在校准集上保证 1−α 的覆盖率（分割符合预测）。
• 使用一个正则化预测集 C*(x,u,τ)，它结合基于秩的质量、随机阈值控制以及由 k_reg 和 λ 控制的正则化惩罚。
• 用保留的 conformal 集来校准 τ，以确保未来测试点的有限样本覆盖（定理1和命题1）。
• 证明 RAPS 优于固定大小的前 k 集，并在 1/(n+1) 的松弛下提供覆盖（命题2）。
• 在 ImageNet-Val 和 ImageNet-V2 上对多种架构进行评估；与朴素方法和 APS 基线进行比较。

实验结果

研究问题

• RQ1 是否可以在现代 CNN 分类器上部署 conformal prediction，以提供具有有限样本覆盖率保证的预测集？
• RQ2 将正则化引入 conformal prediction 方案是否会在不牺牲覆盖率的前提下产生更小、更加自适应的不确定性集？
• RQ3 在覆盖率、集合大小和自适应性方面，RAPS 与朴素方法和自适应预测集（APS）在不同架构和数据集上的比较如何？
• RQ4 调参参数（k_reg、λ）对所得预测集的自适应性和覆盖率有何影响？
• RQ5 在使用来自目标分布的校准集时，所提出的方法在分布变化（如 ImageNet 与 ImageNet-V2）下是否仍保持保证？

主要发现

• RAPS 在实现 1−α 覆盖率的同时，产生的预测集明显小于朴素或 APS 方法。
• 在 ImageNet-Val 的九种 CNN 模型中，RAPS 显著减小平均集合大小，同时维持接近目标的覆盖率，在大小和稳定性上均优于 APS。
• 在 Imagenet-V2 上，RAPS 维持覆盖率，同时平均集合大小同样较小，尽管训练数据与评估数据之间存在分布偏移。
• RAPS 对易图像更小，对难图像更大，展示了针对实例困难程度的自适应行为。
• 自动化调优 k_reg 和 λ 能提升自适应性并维持覆盖率，RAPS 在按大小分层的覆盖平衡方面优于 APS。
• 理论保证表明 RAPS 优于固定大小的 top-k 预测集，并且覆盖率在有限样本修正项（1/(n+1)）下成立。