[论文解读] RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness

Francesco Pinto, Harry Yang+3 more|arXiv (Cornell University)|Jun 29, 2022

Anomaly Detection Techniques and Applications被引用 14

一句话总结

RegMixup 提出了一种简单而有效的方法，将 Mixup 作为正则化项与标准交叉熵损失结合使用，显著提升了模型的准确率、不确定性估计能力以及分布外（OOD）鲁棒性。通过结合经验风险最小化（ERM）与邻域风险最小化（VRM），该方法缓解了 Mixup 在所有输入上产生高熵预测的倾向，从而在 ImageNet、CIFAR-10/100 以及多种分布偏移和 OOD 检测基准上表现更优。

ABSTRACT

We show that the effectiveness of the well celebrated Mixup [Zhang et al., 2018] can be further improved if instead of using it as the sole learning objective, it is utilized as an additional regularizer to the standard cross-entropy loss. This simple change not only provides much improved accuracy but also significantly improves the quality of the predictive uncertainty estimation of Mixup in most cases under various forms of covariate shifts and out-of-distribution detection experiments. In fact, we observe that Mixup yields much degraded performance on detecting out-of-distribution samples possibly, as we show empirically, because of its tendency to learn models that exhibit high-entropy throughout; making it difficult to differentiate in-distribution samples from out-distribution ones. To show the efficacy of our approach (RegMixup), we provide thorough analyses and experiments on vision datasets (ImageNet & CIFAR-10/100) and compare it with a suite of recent approaches for reliable uncertainty estimation.

研究动机与目标

• 为解决标准 Mixup 在分布外（OOD）检测中表现不佳的问题，其常导致预测熵均匀偏高。
• 在不损失分布内准确率的前提下，提升模型在协变量偏移和 OOD 场景下的不确定性估计与鲁棒性。
• 开发一种简单、高效且与网络架构无关的方法，使其优于复杂的集成模型与不确定性感知模型。
• 证明通过混合训练目标将 Mixup 与标准交叉熵损失结合，可增强泛化能力与可靠性。
• 提供对 Mixup 的最小化修改，显著提升其在真实部署场景中的可靠性。

提出的方法

• RegMixup 使用联合损失函数进行模型训练：在原始样本上使用标准交叉熵损失，在插值样本上使用基于 Mixup 的损失。
• 该方法显式结合了经验风险最小化（ERM）与邻域风险最小化（VRM）目标，以更好地逼近真实数据分布。
• 对于每个训练批次，模型计算原始输入上的交叉熵损失与插值输入上的 Mixup 损失的加权平均。
• 插值系数 λ 从 Beta(α, α) 分布中采样，模型被训练以最小化两项损失之和。
• 该方法无需架构修改，无需额外参数，且可兼容任意深度学习模型。
• 该方法在多个数据集上进行了评估，包括 ImageNet-1K、CIFAR-10/100 及其协变量偏移变体，并在多个基准数据集上进行了 OOD 检测测试。

实验结果

研究问题

• RQ1 能否将 Mixup 改进为一种正则化方法，以同时提升分布内准确率与分布外鲁棒性？
• RQ2 为何标准 Mixup 无法区分分布内与分布外样本？这一问题能否被修正？
• RQ3 将 Mixup 与标准交叉熵损失结合，是否能比单独使用 Mixup 提供更优的不确定性估计？
• RQ4 能否通过一种简单、单模型、非集成的方法，在 OOD 检测中超越昂贵的深度集成模型？
• RQ5 与 SNGP 和 DUQ 等先进方法相比，RegMixup 在准确率与不确定性校准方面表现如何？

主要发现

• RegMixup 在 ImageNet-1K、CIFAR-10/100 及其协变量偏移变体上均达到最先进性能，优于标准 Mixup 与近期 SOTA 方法。
• 在 CIFAR-100 协变量偏移设置下，RegMixup 达到 83.92% 准确率与 55.50% AUROC，优于 CutMix（80.21% 与 45.23%）与 RegCutMix（79.07% 与 44.64%）。
• 在 SVHN OOD 检测任务中，RegMixup 达到 90.23% AUROC，显著优于 ViT-Mixup+CutMix（85.36%）与 ViT-RegMixup+CutMix（86.44%）。
• 在 CIFAR-10 上使用 ResNet50 时，RegMixup 实现 97.47% 准确率与 79.10% AUROC，优于 Mixup+CutMix（97.23% 与 77.60%）与 ViT-RegMixup+RegCutMix（96.47% 与 75.36%）。
• 尽管是单一确定性模型，RegMixup 在多个基准上持续优于深度集成模型在 OOD 检测中的表现。
• 该方法显著降低了模型对所有输入均分配高熵的倾向，从而实现了对分布内与分布外样本更优的区分能力。