[论文解读] Should I Look at the Head or the Tail? Dual-awareness Attention for Few-Shot Object Detection.

Tung-I Chen, Yueh-Cheng Liu+5 more|arXiv (Cornell University)|Feb 24, 2021

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出了一种新型注意力机制——双-awareness attention（DAnA），用于在少样本目标检测（FSOD）中建模支持图像与查询图像之间的跨图像空间关系，从而提升对空间错位的鲁棒性。DAnA 可增强现有的检测器（如 Faster R-CNN 和 RetinaNet），在 COCO 上分别实现 48% 和 125% 的相对性能提升，达到当前最先进水平。

ABSTRACT

While recent progress has significantly boosted few-shot classification (FSC) performance, few-shot object detection (FSOD) remains challenging for modern learning systems. Existing FSOD systems follow FSC approaches, neglect the problem of spatial misalignment and the risk of information entanglement, and result in low performance. Observing this, we propose a novel Dual-Awareness-Attention (DAnA), which captures the pairwise spatial relationship cross the support and query images. The generated query-position-aware support features are robust to spatial misalignment and used to guide the detection network precisely. Our DAnA component is adaptable to various existing object detection networks and boosts FSOD performance by paying attention to specific semantics conditioned on the query. Experimental results demonstrate that DAnA significantly boosts (48% and 125% relatively) object detection performance on the COCO benchmark. By equipping DAnA, conventional object detection models, Faster-RCNN and RetinaNet, which are not designed explicitly for few-shot learning, reach state-of-the-art performance.

研究动机与目标

• 解决少样本目标检测（FSOD）中因空间错位和信息纠缠带来的挑战，尽管少样本分类（FSC）已取得进展，但该问题仍限制性能提升。
• 克服现有 FSOD 方法的局限性，这些方法简单地将 FSC 方法适配到 FSOD 中，而未考虑支持图像与查询图像之间的空间关系。
• 开发一种通用型注意力模块，可增强现有目标检测网络，而无需为少样本学习重新设计网络架构。
• 通过生成与查询位置相关的支持特征，提升检测精度，使模型对空间变化更具鲁棒性，并实现更精确的检测引导。

提出的方法

• 提出双-awareness attention（DAnA），一种显式建模支持图像与查询图像特征之间成对空间关系的注意力机制。
• 通过关注查询图像特征，生成与查询位置相关的支持特征，使模型能够根据查询的空间上下文自适应调整支持特征。
• 将 DAnA 作为即插即用模块集成到现有检测头（如 Faster R-CNN、RetinaNet）中，无需修改网络架构即可与标准检测器配合使用。
• 利用交叉注意力机制计算注意力权重，将支持特征与查询的空间位置对齐，降低对空间错位的敏感性。
• 将注意力机制同时基于查询图像的空间布局和语义内容进行条件控制，实现对相关支持区域的选择性关注。
• 采用标准检测损失进行端到端训练，同时 DAnA 通过注意力监督学习来优化特征表示。

实验结果

研究问题

• RQ1 建模支持图像与查询图像之间的跨图像空间关系，是否能提升少样本目标检测的性能？
• RQ2 基于查询位置的注意力机制，是否能减轻空间错位在 FSOD 中的负面影响？
• RQ3 像 DAnA 这样的通用型注意力模块，能否有效集成到标准目标检测器中，实现当前最先进水平的 FSOD 性能？
• RQ4 与现有 FSOD 方法相比，DAnA 在 COCO 等标准基准上的检测精度提升程度如何？

主要发现

• DAnA 显著提升了在 COCO 基准上的少样本目标检测性能，相较于基线 Faster R-CNN 实现了 48% 的相对性能增益。
• 当应用于 RetinaNet 时，DAnA 在检测性能上实现了 125% 的相对提升，证明其在不同网络架构间具有强大的泛化能力。
• 在不修改标准检测器架构的前提下集成 DAnA，即可获得当前最先进结果，证明其有效性与可适配性。
• 该方法通过在支持特征上学习与查询条件相关的注意力，有效缓解了空间错位问题。
• DAnA 通过减少信息纠缠，增强了特征表示，从而实现更精确的目标定位与分类。
• 消融实验证实，注意力机制中的空间感知与语义感知均对性能提升至关重要，验证了双-awareness 设计的有效性。