[论文解读] Pose-guided Feature Disentangling for Occluded Person Re-identification Based on Transformer

Tao Wang, Hong Liu+3 more|arXiv (Cornell University)|Dec 4, 2021

Human Pose and Action Recognition被引用 16

一句话总结

该论文提出了一种基于Transformer的姿势引导特征解缠网络（PFD），用于遮挡行人重识别，通过人体姿态关键点监督显式分离可见身体部位与遮挡区域。通过集成姿势引导特征聚合（PFA）模块、解码器中的可学习语义视图，以及采用新型姿势引导推送损失的姿势-视图匹配（PVM）模块，PFD实现了判别性特征的解缠并减少了噪声干扰，在包括Occluded-Duke和Market-1501在内的五个基准数据集上取得了最先进性能。

ABSTRACT

Occluded person re-identification is a challenging task as human body parts could be occluded by some obstacles (e.g. trees, cars, and pedestrians) in certain scenes. Some existing pose-guided methods solve this problem by aligning body parts according to graph matching, but these graph-based methods are not intuitive and complicated. Therefore, we propose a transformer-based Pose-guided Feature Disentangling (PFD) method by utilizing pose information to clearly disentangle semantic components (e.g. human body or joint parts) and selectively match non-occluded parts correspondingly. First, Vision Transformer (ViT) is used to extract the patch features with its strong capability. Second, to preliminarily disentangle the pose information from patch information, the matching and distributing mechanism is leveraged in Pose-guided Feature Aggregation (PFA) module. Third, a set of learnable semantic views are introduced in transformer decoder to implicitly enhance the disentangled body part features. However, those semantic views are not guaranteed to be related to the body without additional supervision. Therefore, Pose-View Matching (PVM) module is proposed to explicitly match visible body parts and automatically separate occlusion features. Fourth, to better prevent the interference of occlusions, we design a Pose-guided Push Loss to emphasize the features of visible body parts. Extensive experiments over five challenging datasets for two tasks (occluded and holistic Re-ID) demonstrate that our proposed PFD is superior promising, which performs favorably against state-of-the-art methods. Code is available at https://github.com/WangTaoAs/PFD_Net

研究动机与目标

• 解决遮挡行人重识别中身体部位被树木或行人等障碍物遮挡的挑战。
• 克服基于图的姿势引导方法复杂且对噪声或外观相似遮挡敏感的局限性。
• 通过姿态监督显式解缠人体部位与遮挡特征，提升特征学习能力。
• 通过在嵌入空间中将可见与遮挡特征相互推开，减少遮挡干扰。
• 在姿态估计存在噪声或不准确的情况下仍保持鲁棒性能，确保在不同数据集间的泛化能力。

提出的方法

• 视觉Transformer（ViT）编码器提取具有强表示能力的全局块特征。
• 姿势引导特征聚合（PFA）模块将估计的姿态热图与块特征匹配，初步识别可见身体部位。
• 基于部件视图的Transformer解码器引入可学习语义视图，隐式增强解缠的身体部位特征。
• 姿势-视图匹配（PVM）模块显式匹配语义视图与姿势引导特征之间的最相似特征，实现遮挡与人体特征的自动分离。
• 设计了一种新型姿势引导推送损失，以最小化嵌入空间中可见身体特征与遮挡特征之间的相似性，从而减少噪声干扰。
• 整个框架通过端到端训练，联合优化特征解缠与重识别损失。

实验结果

研究问题

• RQ1 基于Transformer的架构是否能有效利用姿势引导实现可见人体部位与遮挡区域的解缠？
• RQ2 可学习语义视图与姿势引导特征之间的显式匹配是否能提升遮挡Re-ID中的特征判别能力？
• RQ3 该方法在真实场景中对姿态噪声或不准确姿态估计的鲁棒性如何？
• RQ4 姿势引导推送损失是否能有效抑制与遮挡相关的噪声并改善特征学习？
• RQ5 该方法在遮挡与整体行人Re-ID基准之间是否具有良好的泛化能力？

主要发现

• PFD在五个基准数据集上达到最先进性能，包括Occluded-Duke，在姿态估计阈值γ设为0时仍达到65.5% Rank-1准确率，表明对姿态噪声具有极强鲁棒性。
• 该方法在不同姿态估计模型（HRNet、AlphaPose、OpenPose）下均保持高性能，证明对不同姿态质量具有良好的泛化能力。
• 消融实验表明，解码器最优层数为2层，当语义视图数量超过17个时性能趋于平稳，与关键点关节数一致，表明特征对齐有效。
• PVM模块中的阈值γ在0.2时效果最佳，性能达到峰值；过低或过高均因噪声或关键部位缺失导致性能下降。
• 注意力热图可视化结果表明，学习到的语义视图能准确定位无遮挡身体区域，验证了解缠机制的有效性。
• 姿势引导推送损失显著提升性能，通过降低可见与遮挡特征之间的相似性，尤其在复杂遮挡场景下效果明显。