[论文解读] Parallel Residual Bi-Fusion Feature Pyramid Network for Accurate Single-Shot Object Detection

Ping-Yang Chen, Ming‐Ching Chang+2 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications参考文献 69被引用 118

一句话总结

本文提出了一种新型的一阶段目标检测框架——并行残差双向融合特征金字塔网络（PRB-FPN），通过一种新颖的串联与重组（CORE）模块及残差设计，在并行的双向（自顶向下与自底向上）路径中实现特征融合，显著提升了特征表示能力。PRB-FPN在MS COCO和UAVDT17数据集上达到了最先进（SoTA）的检测精度，使用CSPDarknet-53作为骨干网络时在COCO上的AP达到48.9%，在800×800输入下达到59.4% AP，优于YOLOv7及其他SOTA模型，同时保持了实时推理能力。

ABSTRACT

This paper proposes the Parallel Residual Bi-Fusion Feature Pyramid Network (PRB-FPN) for fast and accurate single-shot object detection. Feature Pyramid (FP) is widely used in recent visual detection, however the top-down pathway of FP cannot preserve accurate localization due to pooling shifting. The advantage of FP is weakened as deeper backbones with more layers are used. In addition, it cannot keep up accurate detection of both small and large objects at the same time. To address these issues, we propose a new parallel FP structure with bi-directional (top-down and bottom-up) fusion and associated improvements to retain high-quality features for accurate localization. We provide the following design improvements: (1) A parallel bifusion FP structure with a bottom-up fusion module (BFM) to detect both small and large objects at once with high accuracy. (2) A concatenation and re-organization (CORE) module provides a bottom-up pathway for feature fusion, which leads to the bi-directional fusion FP that can recover lost information from lower-layer feature maps. (3) The CORE feature is further purified to retain richer contextual information. Such CORE purification in both top-down and bottom-up pathways can be finished in only a few iterations. (4) The adding of a residual design to CORE leads to a new Re-CORE module that enables easy training and integration with a wide range of deeper or lighter backbones. The proposed network achieves state-of-the-art performance on the UAVDT17 and MS COCO datasets. Code is available at https://github.com/pingyang1117/PRBNet_PyTorch.

研究动机与目标

• 为解决标准特征金字塔网络（FPNs）因池化操作导致分辨率损失，从而在小目标和大目标检测上精度不足的问题。
• 通过引入双向融合机制，提升特征表示能力，同时保留高层语义信息与低层空间细节。
• 通过在融合路径中引入残差设计，提升训练稳定性并增强与各类主干网络的兼容性。
• 在保持实时推理速度的前提下实现高检测精度，适用于边缘设备部署。

提出的方法

• 提出一种并行双向融合结构，通过自底向上的融合模块（BFM）同时融合三个特征金字塔层级（P3、P4、P5），以提升对小目标和大目标的检测能力。
• 引入串联与重组（CORE）模块，递归融合相邻层的特征，实现高效的自底向上信息流动与上下文特征恢复。
• 在CORE模块中引入残差设计（Re-CORE），以稳定训练过程，并支持与多种主干网络（包括更深或更轻量的架构）的无缝集成。
• 采用并行架构，避免传统基于拼接的融合方式导致的内存爆炸问题，同时在保持高效性的同时提升特征质量。
• 在自顶向下与自底向上两条路径中均应用CORE模块，实现特征的迭代净化，保留丰富的上下文与定位信息。
• 采用多路径融合策略，使网络能够并行生成三个预测特征图，提升检测精度而不损失推理速度。

实验结果

研究问题

• RQ1 并行的双向特征融合机制是否能有效提升单阶段检测器对小目标和大目标的检测精度？
• RQ2 CORE模块如何通过实现递归自底向上的特征融合与上下文信息恢复，增强特征表示能力？
• RQ3 CORE模块中的残差设计在多大程度上提升了训练稳定性与主干网络的兼容性？
• RQ4 所提出的PRB-FPN是否在MS COCO和UAVDT17等标准基准上实现了最先进性能，同时保持实时推理速度？
• RQ5 与现有双向FPN结构（如BiFPN和PANet）相比，PRB-FPN在精度与效率方面表现如何？

主要发现

• 在使用CSPDarknet-53作为骨干网络、输入尺寸为800×800的条件下，PRB-FPN在MS COCO测试集上达到48.9% AP，优于YOLOv7-E6E及其他SOTA单阶段检测器。
• 在同一基准上，PRB-FPN在ResNet-50主干网络与800×800输入下达到46.1% AP，优于此前SOTA模型如AB+FSAF和Cascade R-CNN。
• PRB-FPN6变体在COCO数据集上对大目标（APL）的检测精度达到55.9%，表明其在大尺度目标检测任务中表现优异。
• 模型保持了实时推理速度，在800×800输入下，使用ResNet-50时达到15.9 FPS，使用CSPDarknet-53时达到11.6 FPS，展现出适用于边缘设备部署的高效性。
• 可视化对比显示，PRB-FPN6在雾霾和遮挡场景下优于YOLOv7-E6E，能够成功检测小目标及严重遮挡目标。
• 大量消融实验表明，CORE模块与残差设计显著提升了特征质量与训练收敛速度。