[论文解读] Recurrent Scale Approximation for Object Detection in CNN

Yu Liu, Hongyang Li+4 more|arXiv (Cornell University)|Jul 29, 2017

Advanced Neural Network Applications参考文献 34被引用 6

一句话总结

本文提出循环尺度近似（RSA），一种仅通过一次前向传播即可在CNN中计算多尺度目标检测特征图的方法。通过从初始的大尺度特征图递归近似生成更小尺度的特征图，并结合尺度预测网络与关键点回溯网络（LRN），RSA在显著降低计算成本的同时实现了当前最优的面部检测性能。

ABSTRACT

Since convolutional neural network (CNN) lacks an inherent mechanism to handle large scale variations, we always need to compute feature maps multiple times for multi-scale object detection, which has the bottleneck of computational cost in practice. To address this, we devise a recurrent scale approximation (RSA) to compute feature map once only, and only through this map can we approximate the rest maps on other levels. At the core of RSA is the recursive rolling out mechanism: given an initial map at a particular scale, it generates the prediction at a smaller scale that is half the size of input. To further increase efficiency and accuracy, we (a): design a scale-forecast network to globally predict potential scales in the image since there is no need to compute maps on all levels of the pyramid. (b): propose a landmark retracing network (LRN) to trace back locations of the regressed landmarks and generate a confidence score for each landmark; LRN can effectively alleviate false positives caused by the accumulated error in RSA. The whole system can be trained end-to-end in a unified CNN framework. Experiments demonstrate that our proposed algorithm is superior against state-of-the-art methods on face detection benchmarks and achieves comparable results for generic proposal generation. The source code of RSA is available at github.com/sciencefans/RSA-for-object-detection.

研究动机与目标

• 解决CNN中多尺度目标检测的高计算成本问题，即在不同尺度上重复计算特征图。
• 克服CNN在固有处理尺度变化方面的局限性，从而避免标准多尺度推理流水线中的冗余计算。
• 开发一种方法，仅从单一初始特征图近似生成多尺度特征图，最大限度减少计算开销，同时保持检测精度。
• 通过减少递归尺度近似中误差累积导致的误报，提升检测可靠性。
• 实现统一框架的端到端训练，整合尺度预测、特征近似与置信度优化，用于目标检测。

提出的方法

• 引入循环尺度近似（RSA）单元，递归生成输入特征图空间尺寸一半的特征图，实现仅通过一次前向传播即可完成尺度近似。
• 设计尺度预测网络，用于预测图像中最相关的物体尺度，避免在无关尺度上生成特征图，从而减少计算量。
• 提出关键点回溯网络（LRN），通过RSA层回溯关键点位置，并为每个关键点分配置信度分数，以减少因近似误差累积导致的误报。
• 将RSA、尺度预测网络与LRN整合为统一的CNN框架，支持端到端训练。
• 使用Transformer将边界框标注（如FDDB中的椭圆形）对齐为矩形预测，以提升连续评估设置下的性能。
• 将RSA框架应用于面部检测与通用目标建议生成（如ILSVRC上的RPN），证明其在不同任务间的泛化能力。

实验结果

研究问题

• RQ1 是否能够有效从单一初始特征图在基于CNN的目标检测器中近似生成多尺度特征图？
• RQ2 如何在不牺牲检测精度的前提下，提升多尺度目标检测的计算效率？
• RQ3 尺度预测网络在预测图像中仅相关尺度时，能在多大程度上减少冗余计算？
• RQ4 关键点回溯网络是否能够缓解因递归尺度近似中误差累积导致的误报？
• RQ5 RSA框架是否能泛化到面部检测之外的通用目标检测任务？

主要发现

• 在FDDB基准上，所提出的RSA+LRN方法实现93.0%的召回率，仅含50个误报，优于当前最优方法。
• 在AFW数据集上，该方法使用原始标注实现99.17%的AP，使用修正标注实现99.96%的AP，表明在具有挑战性的面部检测任务中具有极高精度。
• 在MALF基准上，该方法实现82.4%的召回率且零误报，显示出优异的精确度与鲁棒性。
• RSA+RPN变体相较于单尺度RPN，在ILSVRC DET val2上将计算成本降低61.05%，同时保持或提升召回率。
• RSA框架将ILSVRC上的推理时间缩短至每张图像124毫秒，相比单尺度RPN的249毫秒，显著提升推理速度。
• 尺度预测网络能有效识别相关尺度，避免在通常以背景为主的无关尺度上生成特征图，从而减少计算量。