[论文解读] Semantic-Aligned Matching for Enhanced DETR Convergence and Multi-Scale Feature Fusion

Gongjie Zhang, Zhipeng Luo+3 more|arXiv (Cornell University)|Jul 28, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文提出SAM-DETR++，一种即插即用模块，通过在共享嵌入空间中投影以对齐对象查询与编码图像特征的语义，从而提升DETR的收敛速度与检测精度。通过实现更精确的匹配并支持从粗到精的多尺度特征融合，SAM-DETR++仅用12个训练周期就在COCO上达到44.8%的AP，显著加速收敛，同时优于Faster R-CNN。

ABSTRACT

The recently proposed DEtection TRansformer (DETR) has established a fully end-to-end paradigm for object detection. However, DETR suffers from slow training convergence, which hinders its applicability to various detection tasks. We observe that DETR's slow convergence is largely attributed to the difficulty in matching object queries to relevant regions due to the unaligned semantics between object queries and encoded image features. With this observation, we design Semantic-Aligned-Matching DETR++ (SAM-DETR++) to accelerate DETR's convergence and improve detection performance. The core of SAM-DETR++ is a plug-and-play module that projects object queries and encoded image features into the same feature embedding space, where each object query can be easily matched to relevant regions with similar semantics. Besides, SAM-DETR++ searches for multiple representative keypoints and exploits their features for semantic-aligned matching with enhanced representation capacity. Furthermore, SAM-DETR++ can effectively fuse multi-scale features in a coarse-to-fine manner on the basis of the designed semantic-aligned matching. Extensive experiments show that the proposed SAM-DETR++ achieves superior convergence speed and competitive detection accuracy. Additionally, as a plug-and-play method, SAM-DETR++ can complement existing DETR convergence solutions with even better performance, achieving 44.8% AP with merely 12 training epochs and 49.1% AP with 50 training epochs on COCO val2017 with ResNet-50. Codes are available at https://github.com/ZhangGongjie/SAM-DETR .

研究动机与目标

• 为解决DETR训练收敛缓慢的问题，其根源在于对象查询与图像特征之间的语义错位。
• 通过将两者投影到共享语义嵌入空间，提升对象查询与相关图像区域之间的匹配精度。
• 基于语义对齐匹配，实现高效、从粗到精的多尺度特征融合。
• 开发一种即插即用模块，可无缝集成至现有DETR收敛解决方案中。
• 证明语义对齐可显著加速收敛，同时不牺牲检测性能。

提出的方法

• 引入一种即插即用模块，将对象查询与图像特征投影至共享语义嵌入空间，以实现语义对齐匹配。
• 采用轻量级网络识别并提取多个具有代表性、判别性的关键点特征，以提升匹配性能。
• 利用对齐的语义空间指导解码器中的交叉注意力模块，降低匹配歧义并提升特征蒸馏效果。
• 通过语义对齐实现分层特征集成，支持从粗到精的多尺度特征融合。
• 采用可学习的参考框初始化策略，在不同数据集上均表现良好，即使使用随机或固定初始化亦然。
• 将语义对齐模块与现有收敛技术（如SMCA和去噪训练）结合，实现协同性能提升。

实验结果

研究问题

• RQ1 对象查询与图像特征之间的语义对齐是否能降低匹配难度并加速DETR的训练收敛？
• RQ2 语义对齐对DETR解码器中交叉注意力机制的性能与稳定性有何影响？
• RQ3 所提出的模块能否有效与现有DETR收敛解决方案结合，进一步提升训练速度与精度？
• RQ4 使用代表性关键点是否能以即插即用方式提升匹配精度与检测性能？
• RQ5 所学习的参考框初始化在不同数据集（具有不同物体分布）上是否具有鲁棒性？

主要发现

• SAM-DETR++仅用12个训练周期（使用ResNet-50）就在COCO val 2017上达到44.8%的AP，其速度与精度均优于Faster R-CNN。
• 在50个训练周期下，SAM-DETR++在COCO上达到49.1%的AP，展现出基于Transformer的检测器中的最先进性能。
• 该模型在不同数据集上保持强泛化能力：即使使用随机初始化的参考框，其在Pascal VOC上仍达到79.3%的mAP。
• 语义对齐模块支持有效的从粗到精的多尺度特征融合，提升了特征表示能力。
• 即插即用设计使其可无缝集成至现有方法（如SMCA-DETR与DN-DETR）中，进一步提升性能。
• 该方法显著缩短了DETR的训练收敛时间，使基于Transformer的检测器在训练效率上可与基于卷积神经网络的模型比肩。