[论文解读] NoisyMix: Boosting Model Robustness to Common Corruptions

N. Benjamin Erichson, Soon Hoe Lim+4 more|arXiv (Cornell University)|Feb 2, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

NoisyMix 是一种新颖的数据增强训练方案，通过在输入空间和特征空间中注入受控噪声，提升了深度神经网络对常见数据损坏和域偏移的鲁棒性。它在 ImageNet-C、ImageNet-R 和 CIFAR-10-C 上实现了最先进性能，相比 AugMix 将鲁棒准确率提升了超过 4%，同时保持了相当的域内准确率和训练成本。

ABSTRACT

For many real-world applications, obtaining stable and robust statistical performance is more important than simply achieving state-of-the-art predictive test accuracy, and thus robustness of neural networks is an increasingly important topic. Relatedly, data augmentation schemes have been shown to improve robustness with respect to input perturbations and domain shifts. Motivated by this, we introduce NoisyMix, a novel training scheme that promotes stability as well as leverages noisy augmentations in input and feature space to improve both model robustness and in-domain accuracy. NoisyMix produces models that are consistently more robust and that provide well-calibrated estimates of class membership probabilities. We demonstrate the benefits of NoisyMix on a range of benchmark datasets, including ImageNet-C, ImageNet-R, and ImageNet-P. Moreover, we provide theory to understand implicit regularization and robustness of NoisyMix.

研究动机与目标

• 提升深度神经网络在真实世界应用中对常见数据损坏和域偏移的鲁棒性。
• 开发一种训练方案，在不牺牲计算效率的前提下同时提升鲁棒性和域内准确率。
• 为所提出方法的隐式正则化效应提供理论依据。
• 证明 NoisyMix 在输入扰动下能提升模型校准能力和稳定性。
• 表明 NoisyMix 在基准损坏和域偏移数据集上优于对抗训练和现有数据增强方法。

提出的方法

• NoisyMix 提出一种混合数据增强策略，结合了 mixup 风格的插值与在输入空间和特征空间中受控的噪声注入。
• 它采用一种随机插值方案，定义为 $ M_{\lambda}(a,b) = \lambda a + (1-\lambda)b $，其中 $ \lambda \sim \text{Beta}(\alpha, \alpha) $，并在输入图像和中间特征图上应用噪声。
• 噪声以加性高斯或均匀扰动的形式在训练期间注入，其强度通过类似温度的超参数进行调节。
• 该方法通过最小化对抗损失的上界、稳定性目标和数据相关正则项，实现隐式正则化，理论分析中已形式化说明。
• 训练过程的计算成本与标准 mixup 和 AugMix 相当，支持高效部署。
• 该框架在 ResNet-50、ResNet-18 和 Wide-ResNet-28x2 架构上，基于 ImageNet-C、ImageNet-R 和 CIFAR-10-C 进行了评估。

实验结果

研究问题

• RQ1 一种结合 mixup 与受控噪声注入的数据增强方案，能否提升对常见损坏和域偏移的鲁棒性？
• RQ2 与对抗训练及其他最先进增强方法（如 AugMix）相比，NoisyMix 在鲁棒性和域内准确率方面的表现如何？
• RQ3 NoisyMix 所观察到的鲁棒性提升的理论基础是什么，特别是其隐式正则化机制？
• RQ4 NoisyMix 是否能在多种损坏类型下实现更优的不确定性估计和更低的扰动翻转率？
• RQ5 NoisyMix 是否能在不同架构和数据集（包括 ImageNet 和 CIFAR）上实现泛化？

主要发现

• 与 AugMix 相比，NoisyMix 在 ImageNet-C 上将鲁棒准确率提升了超过 4%，在所有评估方法中表现最佳。
• 在 ImageNet-R 上，NoisyMix 在所有损坏类型下的平均翻转率最低（28.5），显著优于 AugMix（37.6）和基线模型。
• 在 CIFAR-10-P 上，NoisyMix 将 ResNet-18 的平均翻转率降至 1.9，Wide-ResNet-28x2 降至 1.7，相比 AugMix 分别提升了约 1% 和 5% 的稳定性。
• 该方法在干净 ImageNet 验证集上保持了相当的域内准确率，表明鲁棒性与标准准确率之间无权衡。
• 理论分析表明，最小化 NoisyMix 损失等价于最小化对抗损失上界、稳定性目标和数据相关正则项，为其鲁棒性提供了理论依据。
• 尽管对抗训练在低频损坏上存在已知局限，NoisyMix 在 ImageNet-C 上仍优于对抗训练，凸显了鲁棒性的多维度特性。