[论文解读] The Robustness Limits of SoTA Vision Models to Natural Variation

Mark Ibrahim, Quentin Garrido+2 more|arXiv (Cornell University)|Oct 24, 2022

Advanced Vision and Imaging被引用 8

一句话总结

本文通过一个包含七百多万张受控图像变化的新数据集，研究了最先进视觉模型在姿态、尺寸、光照、背景和位置等自然变化下的鲁棒性极限。尽管架构和预训练技术有所进步，模型对这些变化依然脆弱，只有当训练实例中显著比例（≥50%）表现出变化时，鲁棒性才有所提升，且即使在相似类别中观察到变化，模型在不同类别间仍无法实现泛化。

ABSTRACT

Recent state-of-the-art vision models introduced new architectures, learning paradigms, and larger pretraining data, leading to impressive performance on tasks such as classification. While previous generations of vision models were shown to lack robustness to factors such as pose, it's unclear the extent to which this next generation of models are more robust. To study this question, we develop a dataset of more than 7 million images with controlled changes in pose, position, background, lighting, and size. We study not only how robust recent state-of-the-art models are, but also the extent to which models can generalize variation in factors when they're present during training. We consider a catalog of recent vision models, including vision transformers (ViT), self-supervised models such as masked autoencoders (MAE), and models trained on larger datasets such as CLIP. We find out-of-the-box, even today's best models are not robust to common changes in pose, size, and background. When some samples varied during training, we found models required a significant portion of diversity to generalize -- though eventually robustness did improve. When diversity is only seen for some classes however, we found models did not generalize to other classes, unless the classes were very similar to those seen varying during training. We hope our work will shed further light on the blind spots of SoTA models and spur the development of more robust vision models.

研究动机与目标

• 评估最先进视觉模型对姿态、尺寸、光照、背景和位置等自然变化的鲁棒性。
• 评估训练数据变化性——尤其是跨类别的变化性——对模型泛化到未见变化的影响。
• 比较不同架构、训练范式和预训练数据规模对鲁棒性的影响。
• 研究某一因素的变化是否能提升对其他因素的鲁棒性。
• 确定模型基于训练期间观察到的变化类别与之相似的类别之间，其鲁棒性泛化的程度。

提出的方法

• 使用3D仓库物体构建了一个大规模数据集，包含七百多万张在姿态、尺寸、光照、背景和位置方面受控变化的图像。
• 采用标准流程评估模型：在下游任务上进行微调和线性评估。
• 系统训练并测试了一系列最先进模型，包括ViT、MAE、CLIP、iBOT和ResNets，涵盖不同的预训练数据和微调策略。
• 系统性地改变表现出特定因素变化的训练实例比例，以研究其对鲁棒性的影响。
• 基于在训练中观察到变化的类别与目标类别的相似性，测量类别间的泛化差距。
• 通过测量某一因素的变化对其他因素鲁棒性的影响，分析跨因素效应。

实验结果

研究问题

• RQ1 最先进视觉模型对姿态、尺寸、光照、背景和位置等自然变化的鲁棒性如何？
• RQ2 当训练数据变化性——尤其是仅限于部分类别——时，其对模型在不同因素和类别间泛化的影响有多大？
• RQ3 某一因素的变化（如姿态）是否能提升对其他因素（如光照或背景）的鲁棒性？
• RQ4 模型在与训练中观察到变化的类别不相似的类别上的性能如何泛化？
• RQ5 模型在不同因素上实现鲁棒性能所需的最低训练变化水平是多少？

主要发现

• 即使最先进的模型在测试未见背景变化时，准确率也显著下降——最高达48.09%，表明其鲁棒性较差。
• 模型需要至少50%的训练实例在某一因素上表现出变化，才能弥合鲁棒性差距，当变化低于此阈值时无改善。
• 当仅部分类别表现出变化时，模型在不相似类别上的泛化能力差，iBot-21k在背景变化上的平均准确率差距达到-57.96%。
• 某一因素的变化（如姿态）能提升对其他因素（如光照或尺寸）的鲁棒性，所有模型均观察到跨因素的溢出效应。
• 模型对与训练中观察到变化的类别相似的类别泛化最好，但随着类别相似性降低，性能急剧下降，尤其在高度不相似的类别中下降最明显。
• 微调始终会降低鲁棒性，相比线性评估；更多预训练数据能提升鲁棒性，尽管架构和训练范式的影响较小。