[论文解读] Occluded Person Re-identification

Jiaxuan Zhuo, Zeyu Chen+2 more|arXiv (Cornell University)|Apr 9, 2018

Video Surveillance and Tracking Methods参考文献 9被引用 13

一句话总结

本文将遮挡行人重识别（re-id）引入为监控领域中的一个新问题，即从被遮挡的探针图像中检索完整的行人图像。提出了一种注意力行人身体框架（AFPB），利用遮挡模拟器生成人工遮挡，并通过多任务损失（身份识别 + 遮挡分类）学习鲁棒的、注意力驱动的特征，在新构建和修改后的基准测试上取得了最先进性能。

ABSTRACT

Person re-identification (re-id) suffers from a serious occlusion problem when applied to crowded public places. In this paper, we propose to retrieve a full-body person image by using a person image with occlusions. This differs significantly from the conventional person re-id problem where it is assumed that person images are detected without any occlusion. We thus call this new problem the occluded person re-identitification. To address this new problem, we propose a novel Attention Framework of Person Body (AFPB) based on deep learning, consisting of 1) an Occlusion Simulator (OS) which automatically generates artificial occlusions for full-body person images, and 2) multi-task losses that force the neural network not only to discriminate a person's identity but also to determine whether a sample is from the occluded data distribution or the full-body data distribution. Experiments on a new occluded person re-id dataset and three existing benchmarks modified to include full-body person images and occluded person images show the superiority of the proposed method.

研究动机与目标

• 解决在机场、商场等真实人群密集环境中严重遮挡下的行人重识别这一关键挑战。
• 提出一种新的问题形式——遮挡行人重识别，目标是从部分遮挡的探针图像中检索完整的行人图像。
• 通过构建新数据集和新型深度学习框架，弥补遮挡重识别领域缺乏公开数据集和鲁棒模型的不足。
• 通过合成数据和辅助监督，整合遮挡先验知识，提升特征的鲁棒性。

提出的方法

• 注意力行人身体框架（AFPB）使用遮挡模拟器（OS）通过在完整行人图像上随机添加背景块，自动生成人工遮挡的行人图像。
• OS生成多样化的人工遮挡集合，模拟真实世界中的遮挡模式，如不同颜色、大小、形状和位置的遮挡。
• AFPB通过带有多任务学习的卷积神经网络（CNN），联合编码完整行人图像和人工遮挡图像，结合身份分类损失和遮挡/非遮挡二分类（OBC）损失。
• OBC损失作为辅助任务，帮助网络学会区分遮挡与非遮挡样本，从而隐式引导网络关注行人身体区域。
• 该框架使用随机梯度下降（SGD）和反向传播进行端到端训练，可使用Caffe等标准深度学习库实现。
• 注意力机制在模型学习过程中自然涌现，通过观察多样化的人工遮挡模式，网络学会聚焦于具有判别性的身体部位。

实验结果

研究问题

• RQ1 深度学习框架能否在真实监控环境中，有效从部分遮挡的探针图像中检索完整的行人图像？
• RQ2 人工遮挡数据在不同遮挡条件下如何提升行人重识别的特征鲁棒性？
• RQ3 联合学习身份识别与遮挡检测对重识别性能有何影响？
• RQ4 包含遮挡分类的多任务损失策略是否能提升泛化能力并增强对关键身体部位的关注？

主要发现

• AFPB框架在新构建的Occluded-REID数据集上达到最先进性能，单次检索（single-shot）的rank-1准确率为68.14%，多次检索（multi-shot）为94.00%。
• 在Partial-REID基准上，AFPB达到78.52%的rank-1准确率，比ResNet-50高出9.30个百分点。
• 与仅使用识别损失的ResNet-50相比，OBC损失的引入使Occluded-REID上的rank-1准确率提升4.29%。
• 消融实验表明，OBC损失非常有效，当超参数α在0.7至0.9之间时性能达到最优。
• 显著性图分析证实，AFPB能更准确地定位判别性身体区域，在Occluded-REID上显著性检测精度提升6.22%（83.48% vs. 77.26% for ResNet-50）。
• 在P-ETHZ和P-DukeMTMC-reID上，AFPB分别取得58.15%和46.15%的rank-1准确率，显著优于基线ResNet-50及先前最先进方法。