[论文解读] Scale-Equalizing Pyramid Convolution for Object Detection

Xinjiang Wang, Shilong Zhang+3 more|arXiv (Cornell University)|May 6, 2020

Advanced Neural Network Applications参考文献 4被引用 7

一句话总结

该论文提出Scale-Equalizing Pyramid Convolution (SEPC)，一种3D卷积模块，显式建模目标检测中特征金字塔各层级之间的跨尺度相关性。通过将卷积核步长适配至空间和尺度维度，SEPC在计算成本极低的情况下提升了特征表示能力，在COCO数据集上实现超过4 AP的增益，并在使用ResNeXt-101和多尺度训练时达到50.1 AP。

ABSTRACT

Feature pyramid has been an efficient method to extract features at different scales. Development over this method mainly focuses on aggregating contextual information at different levels while seldom touching the inter-level correlation in the feature pyramid. Early computer vision methods extracted scale-invariant features by locating the feature extrema in both spatial and scale dimension. Inspired by this, a convolution across the pyramid level is proposed in this study, which is termed pyramid convolution and is a modified 3-D convolution. Stacked pyramid convolutions directly extract 3-D (scale and spatial) features and outperforms other meticulously designed feature fusion modules. Based on the viewpoint of 3-D convolution, an integrated batch normalization that collects statistics from the whole feature pyramid is naturally inserted after the pyramid convolution. Furthermore, we also show that the naive pyramid convolution, together with the design of RetinaNet head, actually best applies for extracting features from a Gaussian pyramid, whose properties can hardly be satisfied by a feature pyramid. In order to alleviate this discrepancy, we build a scale-equalizing pyramid convolution (SEPC) that aligns the shared pyramid convolution kernel only at high-level feature maps. Being computationally efficient and compatible with the head design of most single-stage object detectors, the SEPC module brings significant performance improvement ($>4$AP increase on MS-COCO2017 dataset) in state-of-the-art one-stage object detectors, and a light version of SEPC also has $\sim3.5$AP gain with only around 7% inference time increase. The pyramid convolution also functions well as a stand-alone module in two-stage object detectors and is able to improve the performance by $\sim2$AP. The source code can be found at https://github.com/jshilong/SEPC.

研究动机与目标

• 解决现有特征金字塔融合方法中缺乏对跨尺度相关性显式建模的问题。
• 通过捕捉特征金字塔各层级间三维（空间与尺度）交互，改进单阶段目标检测器的特征表示。
• 克服朴素金字塔卷积与深层网络生成的真实特征金字塔之间的不匹配问题，后者偏离理想的高斯金字塔。
• 开发一种轻量化、兼容性强的模块，在不显著增加计算成本的前提下提升性能。
• 在单阶段和两阶段检测器中均验证其有效性，包括在仅做少量训练修改的情况下实现最先进性能。

提出的方法

• 提出金字塔卷积（PConv），一种在特征金字塔的空间与尺度维度上操作的3D卷积，其卷积核步长与各特征图层级的空间尺寸成比例。
• 引入尺度均衡金字塔卷积（SEPC），在上采样步长过程中调整空间卷积核大小，以对齐各层级特征，减少在非高斯金字塔中的错位。
• 集成批量归一化层，聚合所有金字塔层级的统计信息，稳定训练过程并提升特征质量。
• 利用PConv与RetinaNet风格检测头的天然兼容性，后者被证明在高斯金字塔上表现最优。
• 设计轻量化SEPC变体（SEPC-lite），仅增加约7%的推理时间，同时保持高性能。
• 将PConv和SEPC作为即插即用模块应用于单阶段检测器（如RetinaNet、FCOS）和两阶段检测器（如Faster R-CNN、Mask R-CNN），验证其广泛兼容性。

实验结果

研究问题

• RQ1 与传统2D融合方法相比，是否能在空间与尺度维度上显式使用3D卷积可提升目标检测的特征表示？
• RQ2 为何朴素金字塔卷积在深层网络生成的真实特征金字塔上表现不佳？如何缓解其与高斯金字塔之间的差异？
• RQ3 像SEPC这样的3D卷积模块能在多大程度上以极低计算开销提升检测精度？
• RQ4 检测头的设计（如RetinaNet）如何与PConv相互作用？为何其特别适合高斯金字塔类的特征分布？
• RQ5 PConv和SEPC能否有效应用于单阶段和两阶段目标检测器？可实现多大性能提升？

主要发现

• 在使用ResNeXt-101的MS-COCO2017数据集上，SEPC相较于基线RetinaNet实现4.7 AP的增益，超越大多数两阶段检测器，且仅使用单尺度测试。
• 在更宽的训练尺度（480–960）下，SEPC在COCO上达到50.1 AP，是单阶段检测器在单尺度测试下报告的最佳结果。
• SEPC-lite仅增加约7%的推理时间，即实现3.5 AP增益，展现出优异的精度-效率权衡。
• 仅使用PConv即可在Mask R-CNN上提升2.3 AP，在Faster R-CNN上提升2.1 AP，表明其在两阶段检测器中具有强大泛化能力。
• SEPC在多个单阶段检测器（包括RetinaNet、FCOS、FSAF、Reppoints、FreeAnchor）上均表现出一致的性能增益。
• 研究证实，RetinaNet检测头设计对高斯金字塔最优，且SEPC能有效弥合真实特征金字塔与理想高斯金字塔之间的差距。