[论文解读] Robust Validation: Confident Predictions Even When Distributions Shift

Maxime Cauchois, Suyash Gupta+2 more|arXiv (Cornell University)|Aug 10, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 5

一句话总结

本文提出了一种保 coverage 的近似推断方法，可在分布偏移下保证预测集的覆盖概率，使用 f-散度球来建模可能的分布变化。该方法在仅交换性假设下保证有限样本有效性，并引入了对偏移程度的估计器，在测试数据偏离训练数据时仍能实现鲁棒的置信度校准。

ABSTRACT

While the traditional viewpoint in machine learning and statistics assumes training and testing samples come from the same population, practice belies this fiction. One strategy -- coming from robust statistics and optimization -- is thus to build a model robust to distributional perturbations. In this paper, we take a different approach to describe procedures for robust predictive inference, where a model provides uncertainty estimates on its predictions rather than point predictions. We present a method that produces prediction sets (almost exactly) giving the right coverage level for any test distribution in an $f$-divergence ball around the training population. The method, based on conformal inference, achieves (nearly) valid coverage in finite samples, under only the condition that the training data be exchangeable. An essential component of our methodology is to estimate the amount of expected future data shift and build robustness to it; we develop estimators and prove their consistency for protection and validity of uncertainty estimates under shifts. By experimenting on several large-scale benchmark datasets, including Recht et al.'s CIFAR-v4 and ImageNet-V2 datasets, we provide complementary empirical results that highlight the importance of robust predictive validity.

研究动机与目标

• 开发一种预测推断方法，即使测试数据与训练数据不同时，也能在分布偏移下保持有效的覆盖概率。
• 形式化对基于 f-散度的训练分布扰动具有鲁棒性的不确定性集。
• 在实践中估计预期数据偏移的大小，实现在无先验知识的条件下实现实用的鲁棒性。
• 仅在训练数据交换性假设下，提供有限样本有效性保证，避免强参数假设。
• 在真实世界基准（如 CIFAR-v4 和 ImageNet-V2）上实证验证该方法，证明其对自然分布偏移的鲁棒性。

提出的方法

• 该方法构建形如 $\widehat{C}(x) = \{y \in \mathcal{Y} \mid s(x,y) \leq q\}$ 的预测集，其中 $q$ 是一个阈值，用于确保在训练分布周围 f-散度球内所有分布上的 $1-\alpha$ 覆盖概率。
• 利用分割 conformal 推断，在训练数据仅满足交换性时，即使测试分布与训练分布不同，也能保证有限样本有效性。
• 该方法通过从验证数据中导出的一致估计器来估计 f-散度球的大小，从而实现对未知偏移的鲁棒性。
• 提出一种启发式但有充分动机的程序来估计合理的偏移水平，利用协变量的样本矩或投影来定义不确定性集。
• 该方法使用得分函数 $s(x,y)$（如负对数似然）对标签候选进行排序，构建具有校准置信度的预测集。
• 证明了所得预测集对 f-散度球内所有 $Q$ 实现近乎精确的覆盖，且在弱正则性条件下，偏移估计器具有一致性。

Figure 3: Empirical coverage and average size for the prediction sets generated by the standard conformal methodology (“SC”) and the chi-squared divergence, across 20 random splits of the CIFAR-10 data. We set $\rho$ according to the sampling (“ $\chi^{2}$ -S”), regression (“ $\chi^{2}$ -R”), and cl

实验结果

研究问题

• RQ1 我们能否构建在训练分布周围 f-散度球内任意分布偏移下均保持有效覆盖的预测集？
• RQ2 在无测试分布先验知识的条件下，如何在实践中估计分布偏移的大小以校准鲁棒性？
• RQ3 在分布偏移下，conformal 推断的有限样本有效性如何？与标准 conformal 推断相比表现如何？
• RQ4 在已知分布偏移的真实世界基准（如 CIFAR-v4 和 ImageNet-V2）上，该方法能否保持高置信度和高准确率？
• RQ5 该方法的覆盖性能对偏移估计程序选择的敏感性如何？其鲁棒性的极限在哪里？

主要发现

• 所提方法在训练分布周围 f-散度球内所有分布上均实现了（近乎）精确的 $1-\alpha$ 覆盖概率，即使在有限样本条件下亦成立。
• 该方法仅在训练数据交换性假设下即保持有效性，无需 i.i.d. 或参数假设。
• 在 CIFAR-v4 和 ImageNet-V2 上的实证结果表明，即使测试数据发生显著偏移，该方法仍能保持高覆盖概率，优于标准 conformal 方法在分布偏移下的表现。
• 在弱正则性条件下，估计的偏移大小具有一致性，从而在实践中可实现不确定性集的可靠校准。
• 敏感性分析表明，误覆盖在协变量偏移下仍保持有界，最坏情况下的误覆盖由估计的 $f$-散度水平所控制。
• 该方法对基准数据集中观察到的自然分布偏移表现出鲁棒性，即使在标准基准中准确率下降超过 11%，覆盖性能仍得以维持。

Figure 4: Empirical coverage and average size for the prediction sets generated by the standard conformal methodology (“SC”) and the chi-squared divergence, across 20 random splits of the MNIST data. We set $\rho$ according to the sampling (“ $\chi^{2}$ -S”), regression (“ $\chi^{2}$ -R”), and class