[论文解读] Semantics-Aligned Representation Learning for Person Re-identification

Xin Jin, Cuiling Lan+3 more|arXiv (Cornell University)|May 30, 2019

Video Surveillance and Tracking Methods参考文献 50被引用 11

一句话总结

本文提出了一种语义对齐表示学习框架，通过解码器头训练网络生成密集的、语义对齐的纹理图像，同时联合优化行人重识别（reID）任务，从而提升行人重识别性能。该方法在CUHK03、Market1501、MSMT17和Partial REID数据集上均实现了最先进性能，且推理无额外开销，利用从合成数据集生成的伪真实纹理图像以及三元组约束作为感知损失。

ABSTRACT

Person re-identification (reID) aims to match person images to retrieve the ones with the same identity. This is a challenging task, as the images to be matched are generally semantically misaligned due to the diversity of human poses and capture viewpoints, incompleteness of the visible bodies (due to occlusion), etc. In this paper, we propose a framework that drives the reID network to learn semantics-aligned feature representation through delicate supervision designs. Specifically, we build a Semantics Aligning Network (SAN) which consists of a base network as encoder (SA-Enc) for re-ID, and a decoder (SA-Dec) for reconstructing/regressing the densely semantics aligned full texture image. We jointly train the SAN under the supervisions of person re-identification and aligned texture generation. Moreover, at the decoder, besides the reconstruction loss, we add Triplet ReID constraints over the feature maps as the perceptual losses. The decoder is discarded in the inference and thus our scheme is computationally efficient. Ablation studies demonstrate the effectiveness of our design. We achieve the state-of-the-art performances on the benchmark datasets CUHK03, Market1501, MSMT17, and the partial person reID dataset Partial REID. Code for our proposed method is available at: https://github.com/microsoft/Semantics-Aligned-Representation-Learning-for-Person-Re-identification.

研究动机与目标

• 为解决由姿态变化、视角变换和遮挡引起的行人重识别中的语义错位问题。
• 学习在图像间空间与语义对齐的特征表示，且不增加推理复杂度。
• 生成密集的、语义对齐的纹理图像作为特征学习的监督信号。
• 解决标准行人重识别数据集中真实对齐纹理图像标注的缺失问题。
• 通过更优的特征对齐，提升在标准与部分行人重识别基准上的性能。

提出的方法

• 提出一种语义对齐网络（SAN），由用于reID的主干编码器（SA-Enc）和用于生成对齐纹理图像的解码器（SA-Dec）组成。
• 解码器通过使用从合成的成对图像-纹理（PIT）数据集中生成的伪真实纹理图像进行重建损失训练。
• 在解码器的特征图上应用三元组reID约束作为感知损失，以促进语义一致性。
• 推理阶段丢弃解码器，确保无计算开销。
• 模型联合训练行人重识别损失（ID与三元组）和纹理重建损失。
• 使用成对的行人图像及其对应的规范UV映射纹理，合成伪真实纹理图像。

实验结果

研究问题

• RQ1 联合学习reID与语义对齐纹理生成是否能提升行人重识别中的特征表示学习？
• RQ2 在解码器特征图上引入基于三元组约束的感知监督是否能增强特征对齐？
• RQ3 成对图像与对齐纹理的合成数据集能否有效监督语义对齐特征的学习？
• RQ4 所提方法是否能泛化至具有挑战性的部分行人重识别场景？
• RQ5 该框架是否能在不增加推理成本的前提下实现最先进性能？

主要发现

• 所提出的SAN在CUHK03数据集上达到最先进性能，Rank-1准确率为80.1%，mAP为76.4%。
• 在Market1501上，SAN实现96.1%的Rank-1与88.0%的mAP，优于先前最先进方法。
• 在MSMT17上，SAN实现87.9%的mAP，展现出在大规模数据集上的强大泛化能力。
• 在Partial REID数据集上，SAN实现39.7%的Rank-1准确率，较基线提升5.8个百分点。
• 在Market1501的部分图像上微调后，SAN*在Partial REID上实现44.7%的Rank-1准确率，较基线高出5.8个百分点。
• 可视化结果表明，生成的纹理图像在不同姿态与视角下均保持语义对齐，证实了对齐学习的有效性。