[论文解读] Robust and Accurate Object Detection via Adversarial Learning

Xiangning Chen, Cihang Xie+4 more|arXiv (Cornell University)|Mar 23, 2021

Adversarial Robustness in Machine Learning参考文献 44被引用 5

一句话总结

该论文提出 Det-AdvProp，一种针对目标检测的模型相关数据增强方法，可在微调过程中动态地从分类分支和定位分支中选择更强的对抗性样本。通过与检测器共同演化并使用单一辅助批量归一化层，该方法在 COCO 上将最先进 EfficientDet 模型的 mAP 提升了 +1.1，在损坏图像上提升了 +3.8，且在域偏移基准测试中提升了 +1.3，优于如 AutoAugment 等模型无关方法。

ABSTRACT

Data augmentation has become a de facto component for training high-performance deep image classifiers, but its potential is under-explored for object detection. Noting that most state-of-the-art object detectors benefit from fine-tuning a pre-trained classifier, we first study how the classifiers' gains from various data augmentations transfer to object detection. The results are discouraging; the gains diminish after fine-tuning in terms of either accuracy or robustness. This work instead augments the fine-tuning stage for object detectors by exploring adversarial examples, which can be viewed as a model-dependent data augmentation. Our method dynamically selects the stronger adversarial images sourced from a detector's classification and localization branches and evolves with the detector to ensure the augmentation policy stays current and relevant. This model-dependent augmentation generalizes to different object detectors better than AutoAugment, a model-agnostic augmentation policy searched based on one particular detector. Our approach boosts the performance of state-of-the-art EfficientDets by +1.1 mAP on the COCO object detection benchmark. It also improves the detectors' robustness against natural distortions by +3.8 mAP and against domain shift by +1.3 mAP. Models are available at https://github.com/google/automl/tree/master/efficientdet/Det-AdvProp.md

研究动机与目标

• 探究为何 ImageNet 预训练中先进数据增强带来的性能提升在目标检测微调后会减弱。
• 解决如 AutoAugment 等模型无关数据增强策略在目标检测中泛化能力有限的问题。
• 开发一种随检测器在微调过程中动态演化的模型相关、自适应数据增强策略。
• 在自然损坏图像和域偏移场景下，同时提升目标检测器的准确率与鲁棒性。
• 证明检测头生成的对抗性样本可作为微调阶段更有效的数据增强手段。

提出的方法

• Det-AdvProp 通过在训练过程中攻击分类损失（$L_{cls}$）或定位损失（$L_{loc}$）来生成对抗性样本。
• 在每个训练步骤中，它对 $L_{cls}$ 和 $L_{loc}$ 的对抗梯度进行局部比较，以选择更强、更具破坏性的样本。
• 对所选的对抗性样本应用单一辅助批量归一化层，以保留原始图像的统计特性，避免过度正则化。
• 该方法避免同时使用两种对抗性样本，因为这可能导致梯度冲突并降低性能。
• 采用非目标对抗攻击，固定扰动预算（$\epsilon=1$），以生成稳健且与任务相关的扰动。
• 该方法被集成到目标检测器的微调阶段，特别适用于 EfficientDet 和 RetinaNet，且无需修改主干网络架构。

实验结果

研究问题

• RQ1 为何 ImageNet 预训练中先进数据增强带来的性能增益在目标检测微调后会减弱？
• RQ2 对抗性样本能否作为有效的、与模型相关的数据增强手段，用于目标检测器的微调？
• RQ3 从分类分支和定位分支中动态选择对抗性样本，与同时使用或均不使用相比，效果如何？
• RQ4 与 AutoAugment 等模型无关策略相比，像 Det-AdvProp 这类模型相关、可演化增强策略在目标检测中是否具有更好的泛化能力？
• RQ5 Det-AdvProp 在多大程度上能提升对自然图像损坏和域偏移的鲁棒性？

主要发现

• Det-AdvProp 将 EfficientDet-D3 在干净 COCO 上的 mAP 提升了 +0.8，在 COCO-C 上提升了 +2.0，在 rPC 上提升了 +3.2，优于所有消融实验变体。
• 对于 EfficientDet-D5，Det-AdvProp 在干净 COCO 上实现了 +0.5 mAP 的增益，在 COCO-C 上提升了 +2.3 mAP，在 rPC 上提升了 +3.9 mAP，表明其在不同尺度下均保持一致的性能提升。
• 在使用 ResNet50 的 RetinaNet 上，Det-AdvProp 将 COCO 上的 mAP 从 35.6 提升至 36.1，COCO-C 上从 17.8 提升至 19.7，证实其在 EfficientDet 之外也具有有效性。
• 使用两种对抗性样本并配合三个批量归一化层（3BN）的变体在鲁棒性方面表现最佳，但在干净数据上出现欠拟合现象，表明正则化过度。
• Det-AdvProp 在所有设置下均持续优于 AutoAugment，证明与模型相关的、可演化的增强策略比静态的、模型无关的策略更有效。
• 攻击分类损失能带来更强的在损坏图像上的性能提升，表明分类头性能退化是损坏下鲁棒性下降的关键因素。