[论文解读] The Elephant in the Room

Amir Rosenfeld, Richard S. Zemel+1 more|arXiv (Cornell University)|Jan 1, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用 78

一句话总结

本文研究了最先进目标检测器在对象移植攻击下的脆弱性——即用另一张图像中的不同对象替换图像区域。结果表明，此类非局部扰动会导致检测不稳定、错误识别对象类别，并对无关对象产生非局部影响，主要原因是ROI池化带来的特征干扰以及缺乏鲁棒的上下文推理能力。

ABSTRACT

We showcase a family of common failures of state-of-the art object detectors. These are obtained by replacing image sub-regions by another sub-image that contains a trained object. We call this "object transplanting". Modifying an image in this manner is shown to have a non-local impact on object detection. Slight changes in object position can affect its identity according to an object detector as well as that of other objects in the image. We provide some analysis and suggest possible reasons for the reported phenomena.

研究动机与目标

• 研究最先进目标检测器在非局部、非扰动性图像操作下的鲁棒性。
• 识别当对象被移植到新空间上下文时目标检测中的失败模式。
• 分析此类扰动下检测不稳定性和误分类的根本原因。
• 评估特征干扰、非极大值抑制（NMS）和上下文推理在检测器失败中的作用。

提出的方法

• 使用COCO验证集中的真实分割掩码，将对象从一张图像移植到另一张图像的新位置。
• 通过网格状方式（步长k=10）改变对象位置，以确保完全可见，生成测试图像。
• 对比原始图像与移植后图像的检测结果（包含边界框、置信度分数和类别）。
• 采用'类别匹配'标准，根据新检测到或缺失的类别数量对图像进行排序。
• 评估来自TensorFlow Object Detection API的多种最先进模型，包括使用NASNet的Faster R-CNN和Mask R-CNN。
• 通过定性和定量分析研究影响，重点关注特征干扰、NMS副作用和上下文推理失败。

实验结果

研究问题

• RQ1 目标检测器对将对象移植到新图像位置的响应如何？
• RQ2 为何被移植的对象有时会消失、类别改变，或导致其他对象消失或类别互换？
• RQ3 检测器架构组件在多大程度上导致了非局部效应（如远距离对象的变化）？
• RQ4 ROI池化带来的特征干扰在检测器不稳定性中起到什么作用？
• RQ5 上下文推理失败能否解释非共现对象配置下的观察到的误分类？

主要发现

• 根据位置不同，被移植的对象经常未被检测到或被错误分类为其他类别（例如，一头大象被检测为椅子）。
• 未与被移植对象重叠的对象有时也未被检测到或类别发生变化，表明存在非局部效应。
• 最强检测器（Faster R-CNN NAS COCO，mAP 43%）表现出显著的误分类链：例如，热狗被识别为三明治，标识牌被检测为书籍。
• 非极大值抑制（NMS）加剧了连锁反应，即一个对象的抑制会引发远离移植区域的其他对象重新激活。
• ROI池化带来的特征干扰——尤其是来自背景和周围区域的池化——被确定为不稳定性主要成因。
• 即使在同图内移植（即复制一个对象），也出现了类似失败，表明上下文和空间布局对检测结果有显著影响。