[论文解读] Rethinking Transformer-based Set Prediction for Object Detection

Zhiqing Sun, Shengcao Cao+2 more|arXiv (Cornell University)|Nov 21, 2020

Advanced Neural Network Applications被引用 8

一句话总结

本文提出TSP-FCOS和TSP-RCNN两种基于Transformer的集合预测模型，通过解决DETR中的关键局限（如不稳定匈牙利损失和低效交叉注意力机制），加速训练收敛并提升精度。这些模型在显著缩短训练时间（从500轮减少至50轮以内）的同时，实现了SOTA的COCO AP得分，优于DETR、FCOS和Faster R-CNN。

ABSTRACT

DETR is a recently proposed Transformer-based method which views object detection as a set prediction problem and achieves state-of-the-art performance but demands extra-long training time to converge. In this paper, we investigate the causes of the optimization difficulty in the training of DETR. Our examinations reveal several factors contributing to the slow convergence of DETR, primarily the issues with the Hungarian loss and the Transformer cross-attention mechanism. To overcome these issues we propose two solutions, namely, TSP-FCOS (Transformer-based Set Prediction with FCOS) and TSP-RCNN (Transformer-based Set Prediction with RCNN). Experimental results show that the proposed methods not only converge much faster than the original DETR, but also significantly outperform DETR and other baselines in terms of detection accuracy.

研究动机与目标

• 探究DETR训练收敛缓慢的根本原因，DETR是当前最先进的端到端Transformer架构目标检测器。
• 解决由DETR中匈牙利损失和交叉注意力机制引发的优化困难问题。
• 开发基于Transformer架构的更快、更准确的集合预测模型，消除后处理步骤。
• 在相比DETR减少训练时间的前提下，提升检测性能，尤其是小目标检测性能。
• 在COCO 2017基准上通过单模型、单尺度评估验证所提模型的有效性。

提出的方法

• 提出TSP-FCOS和TSP-RCNN作为仅编码器DETR的改进变体，引入特征金字塔，受FCOS和Faster R-CNN架构启发。
• 在TSP-FCOS中引入一种新颖的感兴趣特征（FoI）选择机制，以增强Transformer编码器中多层级特征的处理能力。
• 设计一种新型二分图匹配方案，以稳定匈牙利损失并加速训练收敛。
• 采用36轮（3×）训练调度，不使用随机裁剪增强，用于消融实验与收敛性分析。
• 采用与DETR相同的96轮（8×）调度并使用随机裁剪，用于与SOTA模型进行比较。
• 将可变形卷积整合至TSP框架中，以评估其兼容性与性能提升效果。

Figure 1: AP results on COCO validation set: original DETR v.s. matching distilled DETR. We can see that matching distillation accelerates the training of DETR in the first few epochs.

实验结果

研究问题

• RQ1 DETR训练过程中收敛缓慢的根本原因是什么，特别是在损失函数与注意力机制方面？
• RQ2 在DETR中移除交叉注意力模块对性能有何影响，特别是在小目标与大目标上的表现差异？
• RQ3 修改后的二分图匹配方案能否稳定训练过程并加速Transformer架构集合预测的收敛？
• RQ4 TSP-FCOS和TSP-RCNN相较于DETR及基线检测器，在检测精度与训练速度方面能提升多少？
• RQ5 TSP模型在可变形卷积与不同主干网络架构下的泛化能力如何？

主要发现

• TSP-RCNN在COCO 2017上达到51.9的SOTA AP，使用ResNet-101-DCN，优于DETR-DC5及其他基线模型。
• TSP-FCOS与TSP-RCNN在50轮内完成收敛，远快于DETR的500轮，且精度更高。
• TSP-RCNN在相同训练调度下，使用ResNet-101-DCN达到47.4 AP，优于Faster R-CNN+与可变形DETR。
• 消融实验表明，集合预测损失对TSP-RCNN性能提升的贡献大于位置编码。
• TSP-RCNN+在使用ResNet-101-DCN时达到51.9 AP，即使训练周期更短，也展现出强大性能。
• 所提模型与可变形卷积具有强兼容性，结合后性能进一步提升。

Figure 2: Sparsity (negative entropy) of Transformer cross-attention in each layer, obtained by evaluation on the COCO validation data. Different line styles represent different layers. We can see that the sparsity consistently increases, especially for the $1^{st}$ cross-attention layer between enc