[论文解读] Re-ID Driven Localization Refinement for Person Search

Chuchu Han, Jiacheng Ye+5 more|arXiv (Cornell University)|Sep 18, 2019

Video Surveillance and Tracking Methods参考文献 37被引用 4

一句话总结

本文提出了一种端到端重识别（re-ID）驱动的定位精炼框架，通过可微分的ROI变换层，利用re-ID损失对检测器的边界框坐标进行监督，联合优化行人检测与行人重识别。该方法通过精炼边界框以减少背景噪声并保留判别性特征，显著提升了检测质量，在CUHK-SYSU数据集上达到93.0%的mAP，在PRW数据集上达到42.9%的mAP，性能达到当前最先进水平。

ABSTRACT

Person search aims at localizing and identifying a query person from a gallery of uncropped scene images. Different from person re-identification (re-ID), its performance also depends on the localization accuracy of a pedestrian detector. The state-of-the-art methods train the detector individually, and the detected bounding boxes may be sub-optimal for the following re-ID task. To alleviate this issue, we propose a re-ID driven localization refinement framework for providing the refined detection boxes for person search. Specifically, we develop a differentiable ROI transform layer to effectively transform the bounding boxes from the original images. Thus, the box coordinates can be supervised by the re-ID training other than the original detection task. With this supervision, the detector can generate more reliable bounding boxes, and the downstream re-ID model can produce more discriminative embeddings based on the refined person localizations. Extensive experimental results on the widely used benchmarks demonstrate that our proposed method performs favorably against the state-of-the-art person search methods.

研究动机与目标

• 解决独立训练的检测器在行人搜索任务中生成次优边界框的问题。
• 通过将检测器监督与下游re-ID任务对齐，提升定位精度。
• 通过使ROI裁剪操作可微分，实现检测与re-ID的端到端联合优化。
• 提出一种代理三元组损失，以在标准三元组不可行的行人搜索流程中实现难样本挖掘。
• 在多种检测器与数据集上（包括大规模图库设置）展示稳定的性能增益。

提出的方法

• 引入一种可微分的ROI变换层，基于仿射变换从原始图像中裁剪检测到的边界框，实现梯度流向边界框坐标。
• 使用re-ID模型的损失来监督检测器的边界框坐标，而非仅依赖回归损失，使检测目标与re-ID任务对齐。
• 以端到端方式联合训练检测器与re-ID模型，使检测器能够学习更具判别性且噪声更少的边界框。
• 提出一种代理三元组损失，以解决在行人搜索中标准三元组挖掘不可行的问题，其中难负样本难以定义。
• 将精炼后的检测边界框集成到re-ID流程中，通过聚焦于包袋和鞋子等关键特征，提升特征嵌入质量。
• 将该框架应用于Faster R-CNN与RetinaNet，验证其在不同检测器架构上的泛化能力。

实验结果

研究问题

• RQ1 re-ID损失能否以可微分、端到端的方式有效用于精炼行人检测边界框？
• RQ2 与标准检测训练相比，re-ID驱动的监督在提升定位质量方面效果如何？
• RQ3 所提出的代理三元组损失在行人搜索中对难样本挖掘的提升程度如何？
• RQ4 该框架是否在不同检测器架构与图库规模下均具有泛化能力？
• RQ5 该方法能否在CUHK-SYSU与PRW等大规模基准上超越当前最先进方法？

主要发现

• 所提方法在CUHK-SYSU基准上达到93.0%的mAP，显著优于当前最先进方法。
• 在PRW数据集上，该方法达到42.9%的mAP，展现出在大规模、开放世界行人搜索任务中的强大性能。
• 在基线mAP为92.23%、Rank-1为93.24%的情况下，结合分类损失与代理三元组损失后，mAP提升至93.09%，Rank-1提升至94.24%。
• 在Faster R-CNN与RetinaNet上，Rank-1分别提升1.0%与1.76%，mAP分别提升0.86%与0.94%。
• 可视化结果表明，精炼后的边界框有效去除了干扰行人与背景，同时保留了包袋、鞋子等关键属性。
• 该方法在所有图库规模下均持续优于基线模型，尤其在大规模设置下表现更优，证实了其可扩展性与鲁棒性。