[论文解读] PnP-DETR: Towards Efficient Visual Analysis with Transformers

Tao Wang, Yuan, Li+3 more|arXiv (Cornell University)|Sep 15, 2021

Advanced Neural Network Applications参考文献 32被引用 4

一句话总结

该论文提出PnP-DETR，一种新颖的空间自适应计算分配框架，用于使用transformer进行高效视觉分析。通过引入可学习的“采样-池化”（PnP）采样模块，该模块选择性地采样细粒度物体特征和粗糙背景上下文，PnP-DETR在无需微调的情况下实现了最先进水平的效率-性能权衡，支持在不同计算约束下实现动态推理，同时在目标检测、分割和识别任务中保持高精度。

ABSTRACT

Recently, DETR pioneered the solution of vision tasks with transformers, it directly translates the image feature map into the object detection result. Though effective, translating the full feature map can be costly due to redundant computation on some area like the background. In this work, we encapsulate the idea of reducing spatial redundancy into a novel poll and pool (PnP) sampling module, with which we build an end-to-end PnP-DETR architecture that adaptively allocates its computation spatially to be more efficient. Concretely, the PnP module abstracts the image feature map into fine foreground object feature vectors and a small number of coarse background contextual feature vectors. The transformer models information interaction within the fine-coarse feature space and translates the features into the detection result. Moreover, the PnP-augmented model can instantly achieve various desired trade-offs between performance and computation with a single model by varying the sampled feature length, without requiring to train multiple models as existing methods. Thus it offers greater flexibility for deployment in diverse scenarios with varying computation constraint. We further validate the generalizability of the PnP module on panoptic segmentation and the recent transformer-based image recognition model ViT and show consistent efficiency gain. We believe our method makes a step for efficient visual analysis with transformers, wherein spatial redundancy is commonly observed. Code will be available at \url{https://github.com/twangnh/pnp-detr}.

研究动机与目标

• 为解决基于transformer的目标检测器（如DETR）在全特征图处理中产生的高计算成本问题，这类方法存在空间冗余。
• 开发一种通用、端到端可训练的模块，根据空间重要性动态分配计算，减少在背景区域的冗余计算。
• 在单一模型中实现精度与推理效率之间的灵活权衡，而无需训练多个变体。
• 验证PnP模块在多个视觉任务中的泛化能力，包括目标检测、全景分割和图像识别。

提出的方法

• 提出一种可学习的“采样-池化”（PnP）采样模块，将输入特征图抽象为两部分：细粒度物体特征向量（采样）和粗糙背景上下文向量（池化）。
• 采用基于排序的采样器，学习识别空间上显著的位置，其行为类似于无监督的区域提议网络。
• 使用自适应池化机制，聚合未采样区域的上下文特征，实现多尺度的全局与局部上下文捕捉。
• 将PnP模块集成到DETR架构中，支持端到端训练与动态计算分配。
• 通过调整采样特征的数量（采样与池化）实现灵活推理，使单一模型可实现不同的速度-精度权衡。
• 使用标准检测损失端到端训练PnP模块，使采样器在优化过程中自适应学习最优采样模式。

实验结果

研究问题

• RQ1 可学习的空间采样机制是否能在不损失检测精度的前提下，减少视觉transformer中的冗余计算？
• RQ2 如何使单一模型在不同硬件约束下，动态平衡计算效率与性能？
• RQ3 采样-池化采样策略在多大程度上能同时捕捉细粒度物体特征与关键背景上下文，以实现准确检测？
• RQ4 PnP模块是否能泛化到目标检测之外的其他视觉任务，如全景分割和图像识别？
• RQ5 采样器的学习动态在训练过程中如何演化？其是否收敛到稳定且有意义的采样模式？

主要发现

• PnP-DETR模型在真实框（ground truth bounding boxes）内采样的位置比例达到60%，表明其能有效聚焦于相关区域。
• 采样器在收敛后，连续训练周期间采样位置的像素IOU约为0.75，表明其采样行为稳定且一致。
• 最优配置采用1/3的采样比例与60个池化样本，实现了细粒度特征与上下文特征表示之间的最佳平衡。
• 与仅使用采样（poll-only）相比，引入池化采样使AP提升约0.7个百分点，证明了背景上下文的重要性。
• 该模型在无需微调的情况下实现了最先进水平的效率-性能权衡，支持在不同计算预算下实现动态推理。
• PnP模块在全景分割和图像识别任务中也表现出良好的泛化能力，证实其在目标检测之外的广泛适用性。