[论文解读] Robust Partial Matching for Person Search in the Wild

Yingji Zhong, Xiaoyu Wang+1 more|arXiv (Cornell University)|Apr 20, 2020

Video Surveillance and Tracking Methods参考文献 12被引用 5

一句话总结

本文提出了一种统一的人体搜索框架——对齐到部件网络（APNet），通过优化检测框以覆盖完整身体区域并实现部分特征匹配，提升了对错位边界框的鲁棒性。APNet在基准数据集和一个新型大规模、具有挑战性的数据集（LSPS）上取得了最先进性能，LSPS数据集上达到51.6%的rank-1准确率和17.1%的mAP，显著优于以往方法在存在遮挡和噪声检测的真实场景中的表现。

ABSTRACT

Various factors like occlusions, backgrounds, etc., would lead to misaligned detected bounding boxes , e.g., ones covering only portions of human body. This issue is common but overlooked by previous person search works. To alleviate this issue, this paper proposes an Align-to-Part Network (APNet) for person detection and re-Identification (reID). APNet refines detected bounding boxes to cover the estimated holistic body regions, from which discriminative part features can be extracted and aligned. Aligned part features naturally formulate reID as a partial feature matching procedure, where valid part features are selected for similarity computation, while part features on occluded or noisy regions are discarded. This design enhances the robustness of person search to real-world challenges with marginal computation overhead. This paper also contributes a Large-Scale dataset for Person Search in the wild (LSPS), which is by far the largest and the most challenging dataset for person search. Experiments show that APNet brings considerable performance improvement on LSPS. Meanwhile, it achieves competitive performance on existing person search benchmarks like CUHK-SYSU and PRW.

研究动机与目标

• 解决人体搜索中被忽视的边界框错位问题，该问题因遮挡和有限的摄像头视角导致全局特征匹配性能下降。
• 通过优化检测框并聚焦于可见身体部位，提升对真实世界挑战（如部分身体可见、背景杂乱、尺度变化）的鲁棒性。
• 提出一个统一框架，联合优化检测与重识别任务，避免使用独立模型带来的低效问题。
• 构建一个新型大规模、真实感强的数据集（LSPS），其边界框通过自动标注获得，更真实地反映现实世界人体搜索的挑战。
• 证明基于对齐且可见身体部位的部分特征匹配，在边界框错位和遮挡情况下能显著提升匹配准确率。

提出的方法

• 引入边界框对齐模块（BBA），通过预测四个偏移值将检测框优化为覆盖估计的完整身体区域，利用数据增强进行端到端训练，无需人工标注。
• 设计区域敏感特征提取器（RSFE），从优化后的边界框中提取具有判别力的部件特征，增强局部线索并减少相邻区域的噪声干扰。
• 将人体重识别建模为部分匹配问题，仅使用有效且可见的部件特征进行相似度计算，舍弃被遮挡或噪声区域的特征。
• 采用基于OIM的统一架构，以极低的计算开销集成BBA与RSFE模块，推理速度与基线模型相当。
• 在APNet+v中引入垂直条纹特征，进一步提升在水平错位情况下的性能，增强复杂场景中的鲁棒性。
• 利用自动数据增强技术端到端训练BBA模块，避免依赖昂贵的人工标注框修正。

实验结果

研究问题

• RQ1 将错位的人体边界框优化为覆盖完整身体区域，是否能提升真实场景下的人体重识别性能？
• RQ2 当边界框因遮挡或摄像头限制而错位时，基于可见身体部位的部分特征匹配是否优于全局特征匹配？
• RQ3 统一的检测与重识别框架是否能比独立模型实现更高的效率与准确率？
• RQ4 所提方法在大规模、真实感强的数据集（自动检测边界框且遮挡率高）上的表现如何？
• RQ5 引入垂直条纹特征在水平错位情况下对性能的提升程度如何？

主要发现

• 在CUHK-SYSU数据集上，APNet达到88.9%的mAP和89.3%的rank-1准确率，优于大多数近期方法，包括使用更强骨干网络的方法。
• 在PRW数据集上，APNet达到41.9%的mAP和81.4%的rank-1准确率，尽管使用了较弱的骨干网络，仍比RDLR高出9.3%的rank-1准确率。
• 在新提出的LSPS数据集上，APNet达到17.1%的mAP和51.6%的rank-1准确率，较基线模型OIM提升3.9%。
• APNet+v（引入垂直条纹特征）在LSPS上取得最佳性能，达到18.8%的mAP和55.7%的rank-1准确率，证明多方向部分匹配的有效性。
• 该方法保持了高效率，2080Ti GPU上的计算量仅为0.397 TFLOPs，仅比OIM的0.383 TFLOPs略高，表明计算开销极低。
• 在PRW上，APNet显著优于QEEPS和CGPS，rank-1准确率分别高出4.7%和7.8%，且由于采用统一推理，效率更高。