[论文解读] NMS Strikes Back

Jeffrey Ouyang-Zhang, Jang Hyun Cho+2 more|arXiv (Cornell University)|Dec 12, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出 DETA，一种检测 Transformer 模型，用传统的基于 IoU 的一对其多标签分配和非极大值抑制（NMS）替代端到端的一对一匈牙利匹配，仅用 12 个周期在 COCO 上实现 50.2 mAP，使用 ResNet50 主干网络。该方法通过利用更多正样本和提升训练稳定性，优于标准端到端 Transformer 模型和最先进的一 NMS 检测器，表明二分图匹配并非高性能检测 Transformer 所必需。

ABSTRACT

Detection Transformer (DETR) directly transforms queries to unique objects by using one-to-one bipartite matching during training and enables end-to-end object detection. Recently, these models have surpassed traditional detectors on COCO with undeniable elegance. However, they differ from traditional detectors in multiple designs, including model architecture and training schedules, and thus the effectiveness of one-to-one matching is not fully understood. In this work, we conduct a strict comparison between the one-to-one Hungarian matching in DETRs and the one-to-many label assignments in traditional detectors with non-maximum supervision (NMS). Surprisingly, we observe one-to-many assignments with NMS consistently outperform standard one-to-one matching under the same setting, with a significant gain of up to 2.5 mAP. Our detector that trains Deformable-DETR with traditional IoU-based label assignment achieved 50.2 COCO mAP within 12 epochs (1x schedule) with ResNet50 backbone, outperforming all existing traditional or transformer-based detectors in this setting. On multiple datasets, schedules, and architectures, we consistently show bipartite matching is unnecessary for performant detection transformers. Furthermore, we attribute the success of detection transformers to their expressive transformer architecture. Code is available at https://github.com/jozhang97/DETA.

研究动机与目标

• 探究一对一对应的二分图匹配是否真正对高性能检测 Transformer 必不可少。
• 比较在端到端检测器中，基于一对其多标签分配的传统 NMS 训练与一对一对应匈牙利匹配的有效性。
• 确定检测 Transformer 的成功是源于其架构还是训练目标。
• 开发一种更简单、更高效的训练目标，以维持或提升性能，同时无需复杂的匹配算法。
• 证明传统训练目标可在现代基于 Transformer 的检测器中超越端到端匹配。

提出的方法

• 将可变形 DETR 中的一对一对应匈牙利匹配损失替换为第一阶段和第二阶段头中的一对其多 IoU 基标签分配。
• 使用标准 NMS 进行后处理以去除重叠预测，重新引入传统检测器中的关键组件。
• 应用目标平衡技术以稳定训练，特别是针对小目标，通过限制每个真实框的正样本数量。
• 保持与可变形 DETR 相同的 Transformer 编码器和解码器架构，仅在训练目标上不同，以确保公平比较。
• 使用固定的 IoU 阈值（例如 0.5）将正标签分配给与任意真实框 IoU 超过该阈值的候选框或查询。
• 在标准 1× 训练周期（12 个周期）下使用 ResNet50 主干网络进行训练，以评估效率和性能。

实验结果

研究问题

• RQ1 在相同架构和训练条件下，基于 NMS 的一对其多标签分配是否优于检测 Transformer 中的一对一对应匈牙利匹配？
• RQ2 一对其多分配实现更优性能的关键因素是什么？
• RQ3 检测 Transformer 的成功主要源于其 Transformer 架构，还是其训练目标？
• RQ4 能否用更简单、传统的训练目标替代复杂的端到端匹配，而无需牺牲性能？
• RQ5 目标平衡如何影响模型收敛性和性能，特别是对小目标的影响？

主要发现

• DETA 在使用 ResNet50 和 1× 训练周期（12 个周期）时，在 COCO 上达到 50.2 mAP，优于最佳基于 NMS 的检测器（CenterNet2 为 42.9 mAP）和强大的端到端检测器（DINO 为 49.4 mAP）。
• 将可变形 DETR 中的一对一对应匈牙利匹配替换为一对其多 IoU 基标签分配，mAP 提升了 2.5 个点。
• 目标平衡使 mAP 提升 1.4 个点，对小目标的增益最大（小目标 AP 提升 +2.7），表明其缓解了标准匹配中的采样偏差。
• 该方法收敛更快，性能优于端到端检测器，即使训练周期更短。
• 在多个数据集（COCO、LVIS）、架构（DETR、可变形 DETR）和主干网络上的实验均显示一致的性能提升。
• 消融实验表明，解码器中的自注意力并非 DETA 所必需，而交叉注意力仍至关重要，表明模型受益于基于查询的局部化推理，而非全局优化。