[论文解读] Neighbourhood-guided Feature Reconstruction for Occluded Person Re-Identification

Shijie Yu, Dapeng Chen+3 more|arXiv (Cornell University)|May 16, 2021

Video Surveillance and Tracking Methods参考文献 20被引用 12

一句话总结

本文提出了一种基于邻域引导的特征重建方法，用于遮挡行人重识别，通过利用相似画廊图像中的非遮挡部分来重建遮挡查询中的缺失特征。采用遮挡感知网络和可去除异常值的图神经网络，该方法在Occluded-DukeMTMC基准上实现了64.2%的mAP和67.6%的rank-1准确率，相较于之前最先进方法在mAP上显著提升了超过20个百分点。

ABSTRACT

Person images captured by surveillance cameras are often occluded by various obstacles, which lead to defective feature representation and harm person re-identification (Re-ID) performance. To tackle this challenge, we propose to reconstruct the feature representation of occluded parts by fully exploiting the information of its neighborhood in a gallery image set. Specifically, we first introduce a visible part-based feature by body mask for each person image. Then we identify its neighboring samples using the visible features and reconstruct the representation of the full body by an outlier-removable graph neural network with all the neighboring samples as input. Extensive experiments show that the proposed approach obtains significant improvements. In the large-scale Occluded-DukeMTMC benchmark, our approach achieves 64.2% mAP and 67.6% rank-1 accuracy which outperforms the state-of-the-art approaches by large margins, i.e.,20.4% and 12.5%, respectively, indicating the effectiveness of our method on occluded Re-ID problem.

研究动机与目标

• 解决监控视频中严重遮挡情况下的行人重识别挑战。
• 通过利用邻近非遮挡图像中的信息来重建遮挡行人图像中缺失的身体部位，从而提升特征表示能力。
• 开发一种鲁棒方法，能够自动识别并利用相关邻居，同时过滤异常值。
• 通过实现与非遮挡行人匹配相当的特征表示，弥合遮挡与非遮挡行人匹配之间的性能差距。

提出的方法

• 使用基于部件的特征提取网络（FEN）从掩码处理的行人图像中学习具有判别性的局部特征。
• 采用遮挡感知网络（OAN）利用Mask R-CNN生成的人体掩码预测遮挡状态，以区分可见与遮挡的身体部位。
• 基于可见部位特征选择邻域，重点关注具有相似非遮挡区域的图像。
• 提出一种可去除异常值的图神经网络（OR-GNN），包含一个异常值感知模块，用于分配置信度分数，以及一个特征转换模块，用于重建缺失特征。
• OR-GNN通过邻居信息迭代优化节点特征和边权重，子特征被单独重建并拼接以形成最终表示。
• 最终的特征表示用于检索，实现遮挡与非遮挡图像之间的直接比较。

实验结果

研究问题

• RQ1 能否有效利用画廊图像中的非遮挡部分来重建遮挡行人图像中的缺失特征？
• RQ2 如何在过滤异常值的同时识别最相关且可靠的邻居？
• RQ3 基于图神经网络的特征重建是否优于简单的聚合方法（如平均池化）？
• RQ4 所提方法是否能在大规模与小规模遮挡行人重识别基准上均实现良好泛化？

主要发现

• 所提方法在大规模Occluded-DukeMTMC基准上实现了64.2%的mAP和67.6%的rank-1准确率，相较于之前最先进方法（HONet）在mAP上提升了20.4个百分点，在rank-1准确率上提升了12.5个百分点。
• 消融实验表明，若移除遮挡感知网络（OAN），mAP将从62.9%下降至52.3%，证明其在准确选择邻域中的关键作用。
• 可去除异常值的图神经网络相比不带异常值感知模块的基线模型，mAP提升1.3个百分点，rank-1准确率提升1.5个百分点，证实其在过滤噪声邻居方面的有效性。
• 与基线相比，通过GNN进行特征重建使mAP提升18.9个百分点，rank-1准确率提升7.0个百分点，证明了学习型重建优于平均池化等简单聚合方法。
• 该方法与重排序具有互补性：结合重排序后（Ours+RR）达到67.3%的mAP和68.9%的rank-1准确率，优于单独使用Ours或RR的效果。
• 可视化结果表明，该方法能检索到更多准确的正样本，并有效避免由相似遮挡引起的误报。