[论文解读] Pooling Pyramid Network for Object Detection

Pengchong Jin, Vivek Rathod+1 more|arXiv (Cornell University)|Jul 9, 2018

Advanced Neural Network Applications参考文献 6被引用 15

一句话总结

该论文提出了一种轻量级单阶段目标检测器——特征金字塔网络（Pooling Pyramid Network, PPN），其在所有特征图尺度上共享单一的边界框预测头，并用最大池化操作替代了尺度间的卷积操作。该设计使模型参数量减少3倍，同时在使用MobileNet-v1的COCO数据集上保持了相近的mAP（20.3 vs 20.8）与推理速度，有效缓解了因尺度间数据分布不均导致的置信度误标定问题。

ABSTRACT

We'd like to share a simple tweak of Single Shot Multibox Detector (SSD) family of detectors, which is effective in reducing model size while maintaining the same quality. We share box predictors across all scales, and replace convolution between scales with max pooling. This has two advantages over vanilla SSD: (1) it avoids score miscalibration across scales; (2) the shared predictor sees the training data over all scales. Since we reduce the number of predictors to one, and trim all convolutions between them, model size is significantly smaller. We empirically show that these changes do not hurt model quality compared to vanilla SSD.

研究动机与目标

• 解决SSD中因训练数据分布不均导致的尺度间置信度误标定问题。
• 在不损失检测精度的前提下，减小SSD模型的大小与参数量。
• 通过使共享预测头能够看到所有尺度上的训练样本，提升数据效率。
• 设计一种轻量化、推理速度快的架构，适用于对延迟敏感的应用场景。
• 克服尺度特异性预测头仅能访问部分训练数据的局限性。

提出的方法

• 用一个在所有特征图尺度上共享的单一预测头替代SSD中各尺度特有的边界框预测头。
• 通过在主干网络的基础特征图上连续应用步长为2的最大池化操作，构建多尺度特征金字塔。
• 使用1×1卷积将池化后的特征图映射到与共享预测头兼容的共享嵌入空间。
• 在所有金字塔层级上应用共享预测头（通过1×1卷积）生成类别得分与边界框偏移量。
• 分类任务使用α=0.25、γ=2的焦点损失，回归任务使用平滑L1损失，与SSD保持一致。
• 采用与标准SSD相同的训练与评估设置，包括TPU训练和GPU推理性能基准测试，均基于TensorFlow目标检测API。

实验结果

研究问题

• RQ1 在所有特征图尺度上共享边界框预测头，是否能缓解因尺度间数据分布不均导致的置信度误标定？
• RQ2 用最大池化替代尺度间卷积操作，是否能在保持检测精度的同时减少模型参数量？
• RQ3 在所有尺度数据上联合训练的统一预测头，是否相比各尺度独立训练的预测头，能提升数据效率与泛化能力？
• RQ4 在单阶段检测器中，模型大小最多能减少多少而不影响推理速度或mAP？
• RQ5 基于最大池化的特征金字塔结构，在精度、FLOPs与参数量方面，与标准SSD和FPN相比表现如何？

主要发现

• PPN在COCO数据集上达到20.3的mAP，与MobileNet-SSD的20.8相比，检测精度相当。
• PPN的模型参数量减少至218万（2.18M），相比MobileNet-SSD的683万（6.83M）减少了3倍。
• 推理FLOPs从24.8亿降至23.5亿，GPU推理时间几乎不变，分别为26ms与27ms。
• 共享预测头能够看到所有尺度的训练数据，从而降低置信度误标定，提升预测得分的一致性。
• 最大池化因计算成本低，显著加快了推理速度，且避免了尺度间高参数量的卷积操作。
• 该方法在大幅减小模型体积的同时，保持了高效率与高精度，适用于边缘设备部署。