[论文解读] ssFPN: Scale Sequence (S^2) Feature Based-Feature Pyramid Network for Object Detection

Hye-Jin Park, Youngju Choi+2 more|arXiv (Cornell University)|Aug 24, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出ssFPN，一种尺度序列（S²）特征金字塔网络，通过在FPN的层级轴上应用3D卷积来提取尺度不变特征，从而提升小目标检测性能。通过将FPN层级视为时间序列，该方法捕捉层级间相关性并增强高分辨率特征图，在Faster R-CNN中使小目标AP提升最高达2.0%，在YOLOv4-P5中提升1.3%。

ABSTRACT

Feature Pyramid Network (FPN) has been an essential module for object detection models to consider various scales of an object. However, average precision (AP) on small objects is relatively lower than AP on medium and large objects. The reason is why the deeper layer of CNN causes information loss as feature extraction level. We propose a new scale sequence (S^2) feature extraction of FPN to strengthen feature information of small objects. We consider FPN structure as scale-space and extract scale sequence (S^2) feature by 3D convolution on the level axis of FPN. It is basically scale invariant feature and is built on high-resolution pyramid feature map for small objects. Furthermore, the proposed S^2 feature can be extended to most object detection models based on FPN. We demonstrate the proposed S2 feature can improve the performance of both one-stage and two-stage detectors on MS COCO dataset. Based on the proposed S2 feature, we achieve upto 1.3% and 1.1% of AP improvement for YOLOv4-P5 and YOLOv4-P6, respectively. For Faster RCNN and Mask R-CNN, we observe upto 2.0% and 1.6% of AP improvement with the suggested S^2 feature, respectively.

研究动机与目标

• 为解决目标检测模型中对小目标平均精度（AP）持续偏低的挑战。
• 克服深层CNN特征图中因特征退化和信息丢失而对小目标特征造成更大影响的问题。
• 通过利用FPN特征金字塔中的层级间相关性，提升所有目标尺度下的特征表示能力。
• 设计一种即插即用模块，兼容基于FPN的一阶段与两阶段检测器。

提出的方法

• 将FPN层级轴视为类似时间的维度，将2D特征图转换为跨层级的3D张量，以实现序列建模。
• 应用3D卷积提取具有内在尺度不变性的尺度序列（S²）特征，并捕捉多层级上下文信息。
• 将所有FPN特征图缩放至统一的高分辨率，以保证3D卷积输入的一致性，从而增强小目标表示能力。
• 在检测头前向推理前，将提取的S²特征与高分辨率特征图（如P3）进行拼接。
• 在将S²特征集成至两阶段检测器时，使用1×1卷积调整通道维度。
• 设计S²模块时确保其可轻松扩展至大多数基于FPN的目标检测器，而无需对网络架构进行大规模修改。

实验结果

研究问题

• RQ1 将FPN层级轴建模为序列是否能改善小目标的特征表示？
• RQ2 捕捉FPN层级间的层级相关性是否能提升所有尺度下的检测性能？
• RQ3 基于3D卷积的S²特征提取机制是否能增强目标检测中的尺度不变性？
• RQ4 S²特征在多种检测器架构（包括一阶段与两阶段模型）中的表现如何？
• RQ5 将S²特征集成至现有FPN基检测器时，推理效率与参数开销如何？

主要发现

• 所提出的S²特征在YOLOv4-P5中使小目标AP提升最高达1.3%，在YOLOv4-P6中提升1.1%。
• 对于Faster R-CNN和Mask R-CNN，S²特征分别带来2.0%和1.6%的AP提升，其中小目标的增益最大。
• YOLOv4-P6在引入S²特征后，小目标AP提升最大（1.1%），其次为中目标（0.3%）和大目标（0.4%）。
• 消融实验表明，将S²特征拼接至P3层可获得最佳性能，且计算开销极低。
• 运行时分析显示，在V100上批量大小为8时，推理速度仅下降1.7ms至8.9ms，表明计算成本极低。
• S²特征在所有模型中均提升了AP50和AP75，证实了检测鲁棒性的稳定增益。