[论文解读] PAFNet: An Efficient Anchor-Free Object Detector Guidance

Ying Xin, Guanzhong Wang+6 more|arXiv (Cornell University)|Apr 28, 2021

Advanced Neural Network Applications参考文献 42被引用 6

一句话总结

PAFNet 是一种高度高效的无锚点目标检测器，专为服务器和移动设备部署而优化，通过采用改进的主干网络架构（ResNet50-vd 和 MobileNetV3）、知识蒸馏、注意力模块（AGS）以及数据增强（CutMix），在准确率和速度方面均达到最先进水平。其在 V100 GPU 上实现 67.15 FPS 推理速度下达到 42.2% mAP，在 Kirin 990 ARM CPU 上实现 26.00 ms 延迟下达到 23.9% mAP，优于现有无锚点检测器。

ABSTRACT

Object detection is a basic but challenging task in computer vision, which plays a key role in a variety of industrial applications. However, object detectors based on deep learning usually require greater storage requirements and longer inference time, which hinders its practicality seriously. Therefore, a trade-off between effectiveness and efficiency is necessary in practical scenarios. Considering that without constraint of pre-defined anchors, anchor-free detectors can achieve acceptable accuracy and inference speed simultaneously. In this paper, we start from an anchor-free detector called TTFNet, modify the structure of TTFNet and introduce multiple existing tricks to realize effective server and mobile solutions respectively. Since all experiments in this paper are conducted based on PaddlePaddle, we call the model as PAFNet(Paddle Anchor Free Network). For server side, PAFNet can achieve a better balance between effectiveness (42.2% mAP) and efficiency (67.15 FPS) on a single V100 GPU. For moblie side, PAFNet-lite can achieve a better accuracy of (23.9% mAP) and 26.00 ms on Kirin 990 ARM CPU, outperforming the existing state-of-the-art anchor-free detectors by significant margins. Source code is at https://github.com/PaddlePaddle/PaddleDetection.

研究动机与目标

• 开发一种高效无锚点目标检测器，以在真实工业应用中实现高准确率与快速推理之间的平衡。
• 通过集成有效技术，在不牺牲推理速度的前提下提升 TTFNet 的性能。
• 针对服务器端（GPU）和移动端（ARM CPU）部署进行模型优化，实现最低延迟与最高 mAP。
• 识别并验证在无锚点检测中最具效果的训练技巧、数据增强与架构改进组合。

提出的方法

• 在服务器端模型中采用 ResNet50-vd 配合知识蒸馏（SSLD）作为主干网络，以提升特征表示能力。
• 在检测头中引入自适应门控尺度（AGS）模块，以增强特征精炼与定位精度。
• 应用 CutMix 数据增强与 EMA（指数移动平均）训练策略，以提升泛化能力与模型鲁棒性。
• 在服务器端使用 10x 训练周期，在移动端使用 20x 训练周期，以确保充分收敛。
• 在移动端模型中将标准卷积替换为轻量级深度可分离卷积，以降低 FLOPs 与延迟。
• 通过额外的数据增强（GridMask、Random-Crop、Random-Expand）与蒸馏后的 MobileNetV3-Large 主干网络进一步优化移动端模型。

实验结果

研究问题

• RQ1 在无锚点目标检测中，哪种训练技巧与架构组件的组合能实现最佳的准确率-速度权衡？
• RQ2 知识蒸馏与注意力模块（AGS）在不增加推理成本的前提下，对无锚点检测器性能的提升效果如何？
• RQ3 在服务器与移动端推理场景下，哪种数据增强策略最有效提升 mAP？
• RQ4 能否通过最小性能损失，将单一检测器架构有效适配于高端 GPU 与移动 ARM CPU 部署？
• RQ5 不同训练周期（1x、4x、10x、20x）对无锚点检测中收敛性与最终 mAP 的影响如何？

主要发现

• PAFNet 在 COCO 2017 验证集上实现 42.2% mAP，单张 V100 GPU 推理速度达 67.15 FPS，优于现有无锚点检测器的准确率与速度表现。
• PAFNet-lite 在 Kirin 990 ARM CPU 上实现仅 26.00 ms 延迟下达到 23.9% mAP，创下移动端优化无锚点检测器的新 SOTA 记录。
• AGS 模块与知识蒸馏（SSLD）的集成分别使服务器端 mAP 提升 1.8%，且未显著增加 FLOPs。
• CutMix 数据增强与 EMA 训练策略在服务器端额外带来 0.4% mAP 提升，展现出强大的泛化优势。
• 服务器端使用 10x 训练周期与移动端使用 20x 训练周期对实现最优收敛与 mAP 表现至关重要。
• 在 ResNet50-vd 的最后阶段将标准卷积替换为可变形卷积，使服务器端 mAP 从 39.8% 提升至 42.2%。