[论文解读] The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization

Dan Hendrycks, Steven Basart+11 more|arXiv (Cornell University)|Jun 29, 2020

Advanced Image Processing Techniques被引用 21

一句话总结

本文引入了四个新的真实世界分布偏移数据集——ImageNet-Renditions、DeepFashion Remixed、StreetView StoreFronts 和 Real Blurry Images，以严格评估分布外（OOD）鲁棒性。结果表明，更大的模型和数据增强技术，尤其是 DeepAugment，能显著提升在真实世界分布偏移下的鲁棒性，挑战了以往认为合成基准无法泛化的观点，并表明通过有效增强训练的模型，其性能可超越在 1000 倍更多数据上预训练的模型。

ABSTRACT

We introduce four new real-world distribution shift datasets consisting of changes in image style, image blurriness, geographic location, camera operation, and more. With our new datasets, we take stock of previously proposed methods for improving out-of-distribution robustness and put them to the test. We find that using larger models and artificial data augmentations can improve robustness on real-world distribution shifts, contrary to claims in prior work. We find improvements in artificial robustness benchmarks can transfer to real-world distribution shifts, contrary to claims in prior work. Motivated by our observation that data augmentations can help with real-world distribution shifts, we also introduce a new data augmentation method which advances the state-of-the-art and outperforms models pretrained with 1000 times more labeled data. Overall we find that some methods consistently help with distribution shifts in texture and local image statistics, but these methods do not help with some other distribution shifts like geographic changes. Our results show that future research must study multiple distribution shifts simultaneously, as we demonstrate that no evaluated method consistently improves robustness.

研究动机与目标

• 通过引入多样化、真实世界的分布偏移基准，解决鲁棒性研究中缺乏共识与标准化评估的问题。
• 测试现有鲁棒性方法（包括更大模型、自注意力机制、数据增强和预训练）在真实世界分布偏移下的有效性。
• 挑战以往认为合成鲁棒性基准无法迁移到真实世界偏移的观点。
• 证明数据增强，尤其是 DeepAugment，在真实世界鲁棒性方面具有极高有效性，甚至可超越在远超规模的标注数据上预训练的模型。

提出的方法

• 引入 ImageNet-Renditions，一个包含 30,000 张图像的测试集，涵盖 ImageNet 类别的艺术化再现（如绘画、刺绣），用于测试对风格与纹理偏移的鲁棒性。
• 基于 DeepFashion2 的元数据，构建 DeepFashion Remixed，通过控制遮挡、尺寸、视角和缩放等变量，实现对分布偏移的解耦评估。
• 利用真实 Google StreetView 图像及包含地理位置、年份和相机系统信息的元数据，开发 StreetView StoreFronts，用于评估地理与时间维度的分布偏移。
• 构建 Real Blurry Images，一个包含 1,000 张图像的基准，专门用于评估真实世界模糊下的鲁棒性，与 ImageNet-C 的合成模糊噪声形成对比。
• 提出 DeepAugment，一种利用图像到图像神经网络生成多样化、逼真增强样本的数据增强方法，可有效提升模型鲁棒性。
• 在所有新旧基准上，系统评估四种鲁棒性方法——更大模型、自注意力机制、多样化数据增强和预训练——以评估其泛化能力。

实验结果

研究问题

• RQ1 与以往的怀疑相反，合成数据增强技术是否能提升在真实世界分布偏移下的鲁棒性？
• RQ2 更大模型和预训练是否能在多种真实世界分布偏移中持续提升鲁棒性？
• RQ3 在合成基准上获得的鲁棒性提升，在多大程度上能迁移到真实世界中自然发生的分布偏移？
• RQ4 数据增强，尤其是 DeepAugment，是否能超越在远超规模的标注数据集上预训练的模型？
• RQ5 是否存在当前鲁棒性方法无法泛化的分布偏移类型，例如地理或相机相关的改变？

主要发现

• 数据增强，尤其是 DeepAugment，在 ImageNet-R 和真实世界模糊上均提升了鲁棒性，表明合成鲁棒性干预手段可泛化至真实世界偏移。
• 使用 DeepAugment 训练的模型性能超越了在 1000 倍更多标注数据上预训练的模型，凸显了有效数据增强的强大作用。
• 更大模型和多样化数据增强在纹理及局部统计量偏移上持续提升鲁棒性，但在地理或相机相关偏移上无效。
• ImageNet-C 中的合成噪声与真实世界模糊存在相关性，反驳了以往认为其不代表真实分布偏移的推测。
• 没有单一方法能在所有分布偏移上持续提升鲁棒性，凸显未来鲁棒性研究需采用多偏移联合评估。
• 纹理偏差假设得到进一步支持：提升纹理偏移鲁棒性的方法，也同步提升了在 ImageNet-R 上的表现，表明模型仍对纹理线索保持敏感。