[论文解读] The advantages of multiple classes for reducing overfitting from test set reuse

Vitaly Feldman, Roy Frostig+1 more|arXiv (Cornell University)|May 24, 2019

Imbalanced Data Classification Techniques被引用 14

一句话总结

本文表明，由于类别数量增加，多分类预测问题在测试集重复使用时显著降低了过拟合风险，相较于二分类问题。理论边界显示最坏情况偏差的尺度为 Õ(√(k log n / (m n)) + k/n)，实证攻击验证了更高的类别数量（如 ImageNet 中的 m=1000）会大幅增加实现显著过拟合所需的查询次数。

ABSTRACT

Excessive reuse of holdout data can lead to overfitting. However, there is little concrete evidence of significant overfitting due to holdout reuse in popular multiclass benchmarks today. Known results show that, in the worst-case, revealing the accuracy of $k$ adaptively chosen classifiers on a data set of size $n$ allows to create a classifier with bias of $Θ(\sqrt{k/n})$ for any binary prediction problem. We show a new upper bound of $ ilde O(\max\{\sqrt{k\log(n)/(mn)},k/n\})$ on the worst-case bias that any attack can achieve in a prediction problem with $m$ classes. Moreover, we present an efficient attack that achieve a bias of $Ω(\sqrt{k/(m^2 n)})$ and improves on previous work for the binary setting ($m=2$). We also present an inefficient attack that achieves a bias of $ ildeΩ(k/n)$. Complementing our theoretical work, we give new practical attacks to stress-test multiclass benchmarks by aiming to create as large a bias as possible with a given number of queries. Our experiments show that the additional uncertainty of prediction with a large number of classes indeed mitigates the effect of our best attacks. Our work extends developments in understanding overfitting due to adaptive data analysis to multiclass prediction problems. It also bears out the surprising fact that multiclass prediction problems are significantly more robust to overfitting when reusing a test (or holdout) dataset. This offers an explanation as to why popular multiclass prediction benchmarks, such as ImageNet, may enjoy a longer lifespan than what intuition from literature on binary classification suggests.

研究动机与目标

• 研究多分类预测问题中类别数量的增加如何影响因重复访问测试集而导致的过拟合问题。
• 将自适应数据分析的理论理解从二分类推广至多分类设置。
• 开发并评估在不同类别数量下，通过测试集重复使用最大化偏差的实际攻击方法。
• 解释尽管存在大量测试集重复使用，ImageNet 等真实世界多分类基准为何仍表现出经验上的持久稳健性。

提出的方法

• 提出多分类设置下最坏情况偏差的新型理论上限：Õ(max{√(k log n / (m n)), k/n})。
• 提出一种高效攻击，实现 Ω(√(k / (m²n))) 的偏差，以及一种低效攻击，达到 Õ(k/n) 的偏差。
• 采用先验感知攻击（NBπ），利用模型 logits 作为先验分布以指导查询选择。
• 应用启发式方法通过聚焦于 top-R 预测或低置信度样本，减少有效类别数（m）。
• 在合成数据集和 ImageNet 2012 基准上进行实验，使用 ResNet-50v2 模型作为先验信息。
• 采用基于查询的自适应攻击，测量达到相对于随机猜测固定优势所需的查询次数。

实验结果

研究问题

• RQ1 在多分类问题中增加类别数量如何影响因测试集重复使用导致的最坏情况偏差？
• RQ2 能否将二分类设置下过拟合的理论边界扩展至 m > 2 的多分类设置？
• RQ3 在存在先验知识（如模型 logits）的情况下，实际攻击在过拟合多分类测试集方面的有效性如何？
• RQ4 通过聚焦于 top-R 预测等方式减少有效类别数（如 m）在多大程度上提升了攻击成功率？
• RQ5 尽管存在理论上的最坏情况过拟合风险，为何现实世界中的多分类基准（如 ImageNet）在经历大量测试集重复使用后仍保持稳健？

主要发现

• 理论分析表明，多分类问题中最坏情况偏差的尺度为 Õ(√(k log n / (m n))) + k/n，表明类别数 m 越大，过拟合风险显著降低。
• 高效攻击实现了 Ω(√(k / (m²n))) 的偏差，在 m=2 时优于先前在二分类设置下的边界。
• 在 ImageNet 测试集（m=1000）上，NBπ 攻击在将 m 通过 top-2 预测减少至 R=2 后，5200 次查询内实现了 3.0% 的准确率提升。
• 利用模型置信度剔除 40K 个高置信度样本后，n 减少至 10K，5200 次查询后攻击优势提升至 1.44%。
• 在合成数据上，通过 log-log 图显示查询次数与 m 的关系，表明达到固定偏差所需的查询次数随 m 呈超线性增长。
• 即使拥有强先验知识（如 ResNet-50 的 logits），在类别数较大的基准上攻击成功率仍受限，解释了真实世界基准的稳健性。