[论文解读] QueryDet: Cascaded Sparse Query for Accelerating High-Resolution Small Object Detection

Chenhongyi Yang, Zehao Huang+1 more|arXiv (Cornell University)|Mar 16, 2021

Advanced Neural Network Applications参考文献 73被引用 21

一句话总结

QueryDet 提出了一种级联稀疏查询机制（CSQ），通过先在低分辨率特征图上预测粗略的目标位置，再仅在这些位置上对高分辨率特征图进行稀疏计算，从而加速高分辨率小目标检测。该方法在 COCO 上将计算量减少最多达 3.0×，在 VisDrone 上减少 2.3×，同时将 mAP-small 提升 2.0，达到当前最优性能。

ABSTRACT

While general object detection with deep learning has achieved great success in the past few years, the performance and efficiency of detecting small objects are far from satisfactory. The most common and effective way to promote small object detection is to use high-resolution images or feature maps. However, both approaches induce costly computation since the computational cost grows squarely as the size of images and features increases. To get the best of two worlds, we propose QueryDet that uses a novel query mechanism to accelerate the inference speed of feature-pyramid based object detectors. The pipeline composes two steps: it first predicts the coarse locations of small objects on low-resolution features and then computes the accurate detection results using high-resolution features sparsely guided by those coarse positions. In this way, we can not only harvest the benefit of high-resolution feature maps but also avoid useless computation for the background area. On the popular COCO dataset, the proposed method improves the detection mAP by 1.0 and mAP-small by 2.0, and the high-resolution inference speed is improved to 3.0x on average. On VisDrone dataset, which contains more small objects, we create a new state-of-the-art while gaining a 2.3x high-resolution acceleration on average. Code is available at https://github.com/ChenhongyiYang/QueryDet-PyTorch.

研究动机与目标

• 解决在高分辨率特征图中检测小目标带来的高计算成本问题。
• 通过仅关注可能的小目标位置，减少基于特征金字塔检测器中的冗余计算。
• 在显著加速推理的同时保持小目标检测的高精度。
• 使小目标检测器能够高效部署于自动驾驶等实时系统中。
• 设计一种通用方法，兼容多种检测器、主干网络及加速技术。

提出的方法

• QueryDet 使用级联稀疏查询（CSQ）机制，在低分辨率特征图上预测粗略的目标位置。
• 这些预测位置作为查询，用于引导仅在高分辨率特征图中特定区域进行稀疏计算，避免全卷积处理。
• 对检测头应用稀疏卷积，仅处理每个查询位置周围上下文区域（例如 5×5）内的特征。
• 使用焦点损失（focal loss）训练查询头，以提升稀疏区域中的定位置信度。
• 该方法兼容单阶段检测器（如 RetinaNet、FCOS）和两阶段检测器（如 Faster R-CNN）。
• 该方法模块化设计，可与轻量化主干网络、量化和知识蒸馏等技术结合使用。

实验结果

研究问题

• RQ1 基于查询的机制是否能在不损失小目标检测精度的前提下减少高分辨率特征图中的计算量？
• RQ2 为在实现加速的同时维持高检测 AP，需要多大程度的上下文（例如，感受野大小）？
• RQ3 所提出的 CSQ 机制是否可泛化至不同检测器架构，包括无锚点和两阶段检测器？
• RQ4 该方法在小目标密度较高的数据集（如 VisDrone）上的表现如何？
• RQ5 该方法在多大程度上可与轻量化主干网络等其他加速技术结合使用？

主要发现

• 在 COCO 上，使用高分辨率特征时，QueryDet 将 mAP 提升 1.0，mAP-small 提升 2.0，高分辨率推理平均加速 3.0×。
• 在 VisDrone 上，QueryDet 实现了新的 mAP-small 最优性能，高分辨率检测平均加速 2.3×。
• 使用 MobileNet V2 时，QueryDet 在高分辨率检测中实现平均 4.1× 的加速，展现出强大的边缘部署潜力。
• 应用于 FCOS（一种当前最优的无锚点检测器）时，QueryDet 提升了 mAP-small，并在高分辨率推理中实现 1.8× 的加速。
• 在 Faster R-CNN 中，CSQ 将推理速度从 17.57 提升至 19.03 FPS，mAP-small 仅轻微下降（从 22.98 降至 22.98），证实其在两阶段检测器中的有效性。
• 可视化结果表明，查询热力图能成功定位小目标，但失败案例包括对大目标的误检以及因上下文不足导致的漏检。