[论文解读] OneNet: Towards End-to-End One-Stage Object Detection.

Peize Sun, Yi Jiang+4 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Neural Network Applications参考文献 22被引用 21

一句话总结

本文提出了一种名为最小成本分配（Minimum Cost Assignment）的新颖标签分配方法，通过结合分类成本与定位成本，实现无需非极大值抑制（NMS）的端到端单阶段目标检测。通过仅将总成本最小的样本分配给每个真实框（ground-truth），OneNet 消除了冗余的高置信度预测框，使在 512×512 输入下 COCO 数据集上的推理速度达到 80 FPS 时获得 35.0 AP，50 FPS 时获得 37.7 AP。

ABSTRACT

End-to-end one-stage object detection trailed thus far. This paper discovers that the lack of classification cost between sample and ground-truth in label assignment is the main obstacle for one-stage detectors to remove Non-maximum Suppression(NMS) and reach end-to-end. Existing one-stage object detectors assign labels by only location cost, e.g. box IoU or point distance. Without classification cost, sole location cost leads to redundant boxes of high confidence scores in inference, making NMS necessary post-processing. To design an end-to-end one-stage object detector, we propose Minimum Cost Assignment. The cost is the summation of classification cost and location cost between sample and ground-truth. For each object ground-truth, only one sample of minimum cost is assigned as the positive sample; others are all negative samples. To evaluate the effectiveness of our method, we design an extremely simple one-stage detector named OneNet. Our results show that when trained with Minimum Cost Assignment, OneNet avoids producing duplicated boxes and achieves to end-to-end detector. On COCO dataset, OneNet achieves 35.0 AP/80 FPS and 37.7 AP/50 FPS with image size of 512 pixels. We hope OneNet could serve as an effective baseline for end-to-end one-stage object detection. The code is available at: \url{this https URL}.

研究动机与目标

• 为解决标签分配中缺乏分类成本这一关键障碍，该障碍阻碍了单阶段检测器在无 NMS 情况下实现端到端性能。
• 消除现有单阶段检测器中仅依赖定位成本所导致的冗余高置信度预测。
• 设计一种简单而有效的单阶段检测器（OneNet），通过在标签分配中整合分类成本与定位成本，实现端到端推理。
• 证明通过合理的基于成本的标签分配，端到端单阶段检测是可行的，为未来研究设立新基准。

提出的方法

• 提出最小成本分配方法，其中样本与真实框之间的成本为分类成本与定位成本之和。
• 使用分类成本（如交叉熵）和定位成本（如 IoU 或点距离）来评估样本-真实框配对的质量。
• 对于每个真实框，仅将总成本最小的样本标记为正样本；其余样本均标记为负样本。
• 提出 OneNet，一种极简的单阶段检测器架构，用于评估所提出的标签分配方法。
• 采用标准的单阶段检测头设计，采用无锚点（anchor-free）结构，仅依赖基于成本的分配策略进行训练。
• 通过成本最小化确保每个目标仅产生一个高质量预测，从而在推理阶段无需 NMS。

实验结果

研究问题

• RQ1 能否通过改进标签分配策略，在无需非极大值抑制（NMS）的情况下实现端到端单阶段目标检测？
• RQ2 在标签分配中引入分类成本是否能减少单阶段检测器中的冗余高置信度预测？
• RQ3 像 OneNet 这样简单的检测器是否能通过基于成本的分配策略，在消除 NMS 的同时实现具有竞争力的准确率？
• RQ4 在标签分配中结合分类成本与定位成本，对检测性能和推理速度有何影响？
• RQ5 最小成本分配是否足以使单阶段检测器实现端到端训练与推理？

主要发现

• OneNet 在 512×512 输入下，于 COCO 数据集上实现 80 FPS 时 35.0 AP，50 FPS 时 37.7 AP，证明了其在无 NMS 情况下的强大性能。
• 所提出的最小成本分配方法成功消除了原本在标准单阶段检测器中需要 NMS 处理的冗余高置信度预测框。
• 通过在标签分配中整合分类成本，模型避免了对同一目标产生多个高置信度预测，从而实现端到端推理。
• 该方法使极简检测器（OneNet）在推理速度下实现单阶段端到端检测的最先进性能。
• 结果验证了标签分配中缺乏分类成本是单阶段检测器需要 NMS 的主要原因，而引入分类成本可实现端到端运行。
• 代码已公开，为未来在端到端单阶段目标检测领域的研究提供了强有力的基线。