[论文解读] Noise or Signal: The Role of Image Backgrounds in Object Recognition

Kai Xiao, Logan Engstrom+2 more|arXiv (Cornell University)|Jun 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 59

一句话总结

这篇论文分析最先进的对象分类器如何依赖图像背景，提出一个合成数据集工具箱以解耦前景与背景信号，并显示背景可以强烈影响预测和鲁棒性。

ABSTRACT

We assess the tendency of state-of-the-art object recognition models to depend on signals from image backgrounds. We create a toolkit for disentangling foreground and background signal on ImageNet images, and find that (a) models can achieve non-trivial accuracy by relying on the background alone, (b) models often misclassify images even in the presence of correctly classified foregrounds--up to 87.5% of the time with adversarially chosen backgrounds, and (c) more accurate models tend to depend on backgrounds less. Our analysis of backgrounds brings us closer to understanding which correlations machine learning models use, and how they determine models' out of distribution performance.

研究动机与目标

• 评估背景信号对在接近 ImageNet 的数据上的对象识别准确度的贡献程度。
• 开发一个数据集工具箱，用于在图像中解耯前景与背景信息。
• 量化模型对背景信号的依赖及其对背景变化的鲁棒性。
• 调查随着更现代的架构和训练方案，模型的准确性与对背景的依赖如何演变。

提出的方法

• 创建 ImageNet-9 (IN-9)，一个具有前景/背景分割的九类粗粒度子集。
• 生成八个 IN-9 变体以解耦前景和背景信号（例如 Only-BG、No-FG、Mixed-Same、Mixed-Rand、Mixed-Next）。
• 在 IN-9L 和 IN-9 变体上训练评估多种架构（例如 ResNet-50、Wide-ResNet-50x2、MobileNet-v3、EfficientNet）。
• 将 BG-Gap 定义为 Mixed-Same 与 Mixed-Rand之间的准确度下降，以衡量对背景的依赖。
• 检查对抗性背景并计算每个前景类别的对抗性成功率。
• 在 Mixed-Rand 上训练模型以减少对背景信号的依赖并评估鲁棒性。

实验结果

研究问题

• RQ1 在现代模型中，图像背景是否足以实现正确分类的程度？
• RQ2 在 IN-9 变体中，前景和背景信号如何对模型预测做出贡献？
• RQ3 更准确的模型是否更依赖背景线索，训练方案是否能减少背景依赖？
• RQ4 模型对对抗性背景有多脆弱，背景鲁棒训练能否缓解？
• RQ5 与 IN-9L 训练相比，对背景依赖随着 ImageNet 预训练的发展如何？

主要发现

• 仅背景也能在仅背景数据集上实现非平凡分类准确度，显著高于随机猜测。
• 存在显著的 BG-Gap，当背景信号在对抗性或与前景不匹配时会导致错误分类。
• 相当大比例的图像（约 35%）在使用 Original 数据集训练时需要背景信息才能正确分类。
• 更准确的模型往往更少利用背景相关性或对背景变化更鲁棒，尽管背景信号仍然存在，且预训练的 ImageNet 模型对背景依赖降低。
• 在 Mixed-Rand 上训练可减少对背景的依赖，使模型更以前景为焦点，但有时会降低原始数据上的整体准确率。
• 对抗性背景可欺骗多达 87.5% 的前景示例，突出在分布外设定下的脆弱性。