[论文解读] Rank of Experts: Detection Network Ensemble

Seung‐Hwan Bae, Youngwan Lee+3 more|arXiv (Cornell University)|Dec 1, 2017

Advanced Neural Network Applications参考文献 37被引用 5

一句话总结

本文提出 Rank of Experts，一种用于大规模目标检测的类别级集成方法，通过基于平均精度排名选择并组合每类表现最佳的检测器，无需联合训练。该方法在 ILSVRC 2017 检测竞赛中获得第二名，在 PASCAL VOC 和 ILSVRC 数据集上 mAP 提升了 4–5%。

ABSTRACT

The recent advances of convolutional detectors show impressive performance improvement for large scale object detection. However, in general, the detection performance usually decreases as the object classes to be detected increases, and it is a practically challenging problem to train a dominant model for all classes due to the limitations of detection models and datasets. In most cases, therefore, there are distinct performance differences of the modern convolutional detectors for each object class detection. In this paper, in order to build an ensemble detector for large scale object detection, we present a conceptually simple but very effective class-wise ensemble detection which is named as Rank of Experts. We first decompose an intractable problem of finding the best detections for all object classes into small subproblems of finding the best ones for each object class. We then solve the detection problem by ranking detectors in order of the average precision rate for each class, and then aggregate the responses of the top ranked detectors (i.e. experts) for class-wise ensemble detection. The main benefit of our method is easy to implement and does not require any joint training of experts for ensemble. Based on the proposed Rank of Experts, we won the 2nd place in the ILSVRC 2017 object detection competition.

研究动机与目标

• 解决大规模检测中目标类别数量增加导致检测性能下降的挑战。
• 克服单模型检测器尽管整体 mAP 较高但在特定类别上表现不佳的局限性。
• 开发一种高效的集成策略，在无需联合训练的情况下提升类别级检测精度。
• 实现基于检测器在各类别上优势的有选择性组合，而非依赖整体 mAP。

提出的方法

• 使用不同的特征提取器（ResNet、VGG、WRI-Net）和元架构（Faster R-CNN、SSD、DSSD）构建多样化的检测器池。
• 计算每个检测器在每个目标类别上的平均精度（AP），构建每个类别下检测器性能的排名矩阵。
• 针对每个目标类别，根据其 AP 分数选择排名前 k 位的检测器（专家），使用可配置的阈值 δ 控制集成规模。
• 通过非极大值抑制和软性非极大值抑制（soft-NMS）聚合每类中排名靠前的检测器的预测结果，生成最终预测。
• 采用基于相似度的剪枝策略以避免冗余，确保所选专家集成的多样性。
• 应用多尺度测试和 Soft-NMS 进一步提升检测质量，且无需重新训练。

实验结果

研究问题

• RQ1 与单模型检测器相比，基于类别的集成策略是否能显著提升在多样化目标类别上的检测性能？
• RQ2 基于每个类别的平均精度对检测器进行排序，是否能带来优于使用整体 mAP 作为选择指标的集成性能？
• RQ3 是否可以在无需联合训练或微调的情况下，实现高效且有效的集成方法，同时保持计算效率？
• RQ4 每类选择的专家数量（由 δ 控制）如何影响整体 mAP 和集成的鲁棒性？
• RQ5 与基于贪婪 mAP 选择或模型并集等现有集成策略相比，所提方法在多大程度上表现更优？

主要发现

• 与最佳单检测器相比，Rank of Experts 集成在 ILSVRC 2017 验证集上将 mAP 提升了 4.15%。
• 在 PASCAL VOC 2007 和 2012 上，该方法相比基线检测器实现了 4% 的 mAP 提升。
• 该方法在 ILSVRC 2017 目标检测竞赛中获得第二名，优于多个顶尖团队在类别级检测上的表现。
• 最优 δ 值被确定为 0.03，在 PASCAL VOC 上实现 81.24% 的 mAP，在 ILSVRC 上实现 62.54% 的 mAP，且在不同 δ 值下性能变化极小。
• 在 PASCAL VOC 和 ILSVRC 数据集上，该方法的 mAP 均优于 Google [14] 的集成方法，尤其在大规模检测任务中优势更明显。
• 在 PASCAL VOC 上运行速度约为 140 FPS，在 ILSVRC 上约为 9.37 FPS，Soft-NMS 是主要性能瓶颈。