[论文解读] Multi-scale Location-aware Kernel Representation for Object Detection

Hao Wang, Qilong Wang+3 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Neural Network Applications参考文献 33被引用 12

一句话总结

本文提出了一种多尺度位置感知核表示（MLKP），这是一种新颖的方法，通过在多尺度特征图上对候选区域中的深度特征高阶统计量进行低维多项式核近似，从而提升目标检测性能。通过保留空间位置信息，MLKP在PASCAL VOC 2007、VOC 2012和MS COCO基准上分别将Faster R-CNN的性能提升了4.9%、4.7%和5.0%，显著提升了对小目标和困难目标的检测能力。

ABSTRACT

Although Faster R-CNN and its variants have shown promising performance in object detection, they only exploit simple first-order representation of object proposals for final classification and regression. Recent classification methods demonstrate that the integration of high-order statistics into deep convolutional neural networks can achieve impressive improvement, but their goal is to model whole images by discarding location information so that they cannot be directly adopted to object detection. In this paper, we make an attempt to exploit high-order statistics in object detection, aiming at generating more discriminative representations for proposals to enhance the performance of detectors. To this end, we propose a novel Multi-scale Location-aware Kernel Representation (MLKP) to capture high-order statistics of deep features in proposals. Our MLKP can be efficiently computed on a modified multi-scale feature map using a low-dimensional polynomial kernel approximation.Moreover, different from existing orderless global representations based on high-order statistics, our proposed MLKP is location retentive and sensitive so that it can be flexibly adopted to object detection. Through integrating into Faster R-CNN schema, the proposed MLKP achieves very competitive performance with state-of-the-art methods, and improves Faster R-CNN by 4.9% (mAP), 4.7% (mAP) and 5.0% (AP at IOU=[0.5:0.05:0.95]) on PASCAL VOC 2007, VOC 2012 and MS COCO benchmarks, respectively. Code is available at: https://github.com/Hwang64/MLKP.

研究动机与目标

• 解决Faster R-CNN因依赖一阶特征统计量而在检测小目标和困难目标时存在的局限性。
• 探索在保留空间位置信息的前提下，将高阶统计量整合到目标检测中的方法。
• 开发一种与框架无关、高效的表示方法，以增强候选区域的表征能力，从而提升分类与回归性能。
• 通过结合多尺度特征与位置敏感的核表示，实现在标准基准上的最先进性能。

提出的方法

• 提出一种多尺度位置感知核表示（MLKP），在多尺度特征图上计算r阶多项式核近似。
• 利用1×1卷积和逐元素乘法，高效计算多个阶次的多项式核表示。
• 引入一个可学习的位置权重网络，其参数为Θₘ，用于衡量每个空间位置的贡献，从而保留空间敏感性。
• 应用重映射操作（1⊗）以在核计算后保持空间结构，支持标准RoI池化操作。
• 将所有多项式核阶次的表示拼接成最终的判别性特征向量，同时保留空间信息。
• 将MLKP集成到Faster R-CNN框架中，支持端到端训练，保持与标准检测流水线的兼容性。

Figure 2: Overview of our multi-scale location-aware kernel representation (MLKP). As polynomial kernel representations can be decomposed into $1\times 1\times D^{r}$ convolution operations and element-wise product $\odot$ . Given a multi-scale feature map $\mathcal{X}$ (see Fig. 3 for details on mu

实验结果

研究问题

• RQ1 当正确地定位时，深度特征的高阶统计量是否能提升目标检测性能？
• RQ2 如何在保留空间信息的前提下，高效计算高阶表示以用于目标检测？
• RQ3 基于核的方法是否能有效建模多尺度特征，同时不丢失位置上下文信息？
• RQ4 位置感知的多项式核近似是否在检测小目标和困难目标方面优于一阶特征表示？
• RQ5 所提出的方法是否能在不同主干网络和检测基准上实现良好的泛化能力？

主要发现

• 在PASCAL VOC 2007上，MLKP将Faster R-CNN的平均精度均值（mAP）提升了4.9%，展现出显著的性能增益。
• 在PASCAL VOC 2012上，MLKP使用VGG-16时相比Faster R-CNN实现了5.1%的提升，证实了其在具有挑战性的目标类别上的有效性。
• 在MS COCO上，MLKP在IOU=[0.5:0.05:0.95]下将Faster R-CNN的性能提升了5.0%，优于包括DSSD和SSD在内的最先进方法。
• 由于其位置感知的高阶表征，该方法在检测小目标和困难目标（如远处的人和植物）方面表现更优。
• MLKP相比HyperNet、RON和ION-Net分别提升了1.8%、0.5%和1.6%，证明了位置敏感核学习的优势。
• 在ResNet-101主干网络下，MLKP在MS COCO上将Faster R-CNN的性能提升了4.2%，并超越了无区域依赖的方法如DSSD和SSD，表明其在不同主干网络间具有强大的泛化能力。

Figure 3: The overview of our modified multi-scale feature map with VGG-16 [ 35 ] . Please refer to Fig. 2 .