[论文解读] On Interaction Between Augmentations and Corruptions in Natural Corruption Robustness

Eric Mintun, Alexander Kirillov+1 more|arXiv (Cornell University)|Feb 22, 2021

Domain Adaptation and Few-Shot Learning被引用 31

一句话总结

本文提出了一种通过 Minimal Sample Distance (MSD) 测度，在数据增强与测试时腐蚀之间建立感知相似性框架，并显示增强-腐蚀相似性可以预测腐蚀误差，并且对不相似腐蚀的泛化是有限的。

ABSTRACT

Invariance to a broad array of image corruptions, such as warping, noise, or color shifts, is an important aspect of building robust models in computer vision. Recently, several new data augmentations have been proposed that significantly improve performance on ImageNet-C, a benchmark of such corruptions. However, there is still a lack of basic understanding on the relationship between data augmentations and test-time corruptions. To this end, we develop a feature space for image transforms, and then use a new measure in this space between augmentations and corruptions called the Minimal Sample Distance to demonstrate a strong correlation between similarity and performance. We then investigate recent data augmentations and observe a significant degradation in corruption robustness when the test-time corruptions are sampled to be perceptually dissimilar from ImageNet-C in this feature space. Our results suggest that test error can be improved by training on perceptually similar augmentations, and data augmentations may not generalize well beyond the existing benchmark. We hope our results and tools will allow for more robust progress towards improving robustness to image corruptions. We provide code at https://github.com/facebookresearch/augmentation-corruption.

研究动机与目标

• 了解数据增强如何影响对图像腐蚀的鲁棒性。
• 构建用于变换的感知特征空间，以量化增强-腐蚀相似性。
• 定义并验证 Minimal Sample Distance (MSD) 作为与腐蚀鲁棒性相关的距离度量。
• 使用新基准测试研究增强方案对不相似腐蚀的泛化能力。
• 为评估和设计鲁棒增强策略提供实际指导。

提出的方法

• 使用预训练分类器的最后一层隐藏层来编码变换，创建一个感知变换特征空间。
• 将 Minimal Sample Distance (MSD) 定义为最近的增强样本与腐蚀分布均值特征之间的距离。
• 在广泛的增强方案集合（augmentation powerset）与 CIFAR-10-C/ImageNet-C 腐蚀之间计算 MSD，并与腐蚀误差相关。
• 将 MSD 与 MMD 进行比较，论证 MSD 更好地预测对未见腐蚀的鲁棒性。
• 评估现有增强方法（AutoAugment、Patch Gaussian、AugMix 等）在 CIFAR-10-C 和 ImageNet-C 上的表现，并引入 ImageNet-ar{C} 和 CIFAR-10-ar{C} 作为不相似基准。
• 分析在不相似腐蚀上的增强性能退化，以评估泛化。

实验结果

研究问题

• RQ1 训练时的增强与测试时腐蚀之间的感知相似性如何与腐蚀误差相关？
• RQ2 MSD 是否能比传统分布距离度量（如 MMD）更好地预测腐蚀鲁棒性？
• RQ3 与常见腐蚀在感知上相似的增强方案，是否对不相似的腐蚀具有泛化能力？

主要发现

• MSD 与 CIFAR-10-C 腐蚀的腐蚀误差高度相关，许多腐蚀显示出较高的斯皮尔曼相关性（例如，15 项中有 12 项 > 0.6）。
• MMD 在预测腐蚀误差方面并不可靠，尤其是对于广义增强。
• 感知上相似的增强可以提高对相似腐蚀的鲁棒性，即使训练中并不存在确切的腐蚀。
• 新的腐蚀（ImageNet-ar{C} 和 CIFAR-10-ar{C}），在变换特征空间中为不相似性而选取，显示若干增强方案在不相似腐蚀上退化，凸显有限的泛化能力。
• 广义增强方法（AutoAugment、AugMix、Stylized-ImageNet、DeepAugment）往往比窄域方案对不相似腐蚀具有更好的泛化。
• 即使是非主要基于增强的鲁棒模型也未呈现相同的不相似性退化模式，提示所观察的效应与基于增强的鲁棒性相关。