[论文解读] Zero-Annotation Object Detection with Web Knowledge Transfer

Qingyi Tao, Hao Yang+1 more|arXiv (Cornell University)|Nov 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 28被引用 4

一句话总结

本文提出了一种零标注目标检测框架，通过将网络图像中的知识迁移至目标数据集，无需任何人工标注的边界框。通过引入实例级对抗域适应网络（带前景注意力）以及伪标签生成的同步迁移机制，该方法在PASCAL VOC 2007和VOC 2012上实现了最先进性能，平均mAP相比基线弱监督检测方法提升3.7%。

ABSTRACT

Object detection is one of the major problems in computer vision, and has been extensively studied. Most of the existing detection works rely on labor-intensive supervision, such as ground truth bounding boxes of objects or at least image-level annotations. On the contrary, we propose an object detection method that does not require any form of human annotation on target tasks, by exploiting freely available web images. In order to facilitate effective knowledge transfer from web images, we introduce a multi-instance multi-label domain adaption learning framework with two key innovations. First of all, we propose an instance-level adversarial domain adaptation network with attention on foreground objects to transfer the object appearances from web domain to target domain. Second, to preserve the class-specific semantic structure of transferred object features, we propose a simultaneous transfer mechanism to transfer the supervision across domains through pseudo strong label generation. With our end-to-end framework that simultaneously learns a weakly supervised detector and transfers knowledge across domains, we achieved significant improvements over baseline methods on the benchmark datasets.

研究动机与目标

• 开发一种在目标任务上无需人工标注边界框的目标检测方法。
• 通过有效的知识迁移，解决网络图像（简单、清晰）与目标图像（杂乱、遮挡）之间的域偏移问题。
• 在跨域特征迁移过程中保持类别特定的语义结构，以实现准确检测。
• 仅使用来自网络图像的图像级标签，实现弱监督检测。
• 通过伪标签优化的联合训练，同时学习检测与域适应。

提出的方法

• 提出一种多流端到端框架，结合弱监督检测（WSD）、实例级对抗域适应（DA）和同步迁移（ST）流。
• 引入实例级对抗域适应网络，通过域判别器和特征生成器在目标建议框层面最小化域差异。
• 在DA流中引入前景注意力机制，使特征对齐过程中优先关注目标建议框而非背景区域。
• 采用同步迁移流，利用在网页数据上训练的WSD模型为目标域样本生成伪强标签。
• 在WSD和ST流之间共享特征与权重，以实现联合学习并防止分布偏移。
• 通过t-SNE可视化与消融实验验证域适应与注意力机制的有效性。

实验结果

研究问题

• RQ1 能否在目标数据集上完全不依赖人工标注边界框，实现有效的目标检测？
• RQ2 如何有效将自由获取的网络图像中的知识迁移至存在域偏移的真实世界目标数据集？
• RQ3 实例级域适应结合前景注意力在减少目标检测中域差异方面发挥何种作用？
• RQ4 同步伪标签迁移如何在零标注检测中保持跨类别的语义结构？
• RQ5 检测与域适应的联合训练是否比孤立的预训练与微调更有效？

主要发现

• 所提方法在PASCAL VOC 2007测试集上达到24.6%的mAP，显著优于仅使用基线WSD方法的23.5%。
• 与基线相比，加入带前景注意力的DA流使mAP提升1.1个百分点，证明其在缓解域偏移方面的有效性。
• 消融实验表明，若在DA中移除前景注意力机制，性能反而下降至23.3%，低于不使用DA的23.5%，表明对建议框的无差别处理会损害学习效果。
• 在PASCAL VOC 2012数据集上，该方法相比基线分别提升3.8%（VGG_M）和3.7%（VGG16），证实了其在不同数据集上的泛化能力。
• WSD与ST流的联合训练优于孤立的两阶段方法（mAP为22.5%），证明共享特征学习的重要性。
• t-SNE可视化结果表明，DA与ST流共同对齐了跨域特征，并增强了目标域中类别的可分性。