[论文解读] Viewpoint-Aware Loss with Angular Regularization for Person Re-Identification

Zhihui Zhu, Xinyang Jiang+5 more|arXiv (Cornell University)|Dec 3, 2019

Video Surveillance and Tracking Methods参考文献 20被引用 11

一句话总结

该论文提出了一种名为视角感知损失与角度正则化（VA-reID）的新方法，用于行人重识别。该方法通过自适应软标签，在统一的超球面上联合建模身份和视角分布。通过用视角感知的自适应标签平滑替代硬性视角标签，并应用中心正则化，VA-reID在Market-1501和DukeMTMC-reID数据集上实现了最先进性能，即使在存在噪声或不准确视角标注的情况下也表现优异。

ABSTRACT

Although great progress in supervised person re-identification (Re-ID) has been made recently, due to the viewpoint variation of a person, Re-ID remains a massive visual challenge. Most existing viewpoint-based person Re-ID methods project images from each viewpoint into separated and unrelated sub-feature spaces. They only model the identity-level distribution inside an individual viewpoint but ignore the underlying relationship between different viewpoints. To address this problem, we propose a novel approach, called extit{Viewpoint-Aware Loss with Angular Regularization }( extbf{VA-reID}). Instead of one subspace for each viewpoint, our method projects the feature from different viewpoints into a unified hypersphere and effectively models the feature distribution on both the identity-level and the viewpoint-level. In addition, rather than modeling different viewpoints as hard labels used for conventional viewpoint classification, we introduce viewpoint-aware adaptive label smoothing regularization (VALSR) that assigns the adaptive soft label to feature representation. VALSR can effectively solve the ambiguity of the viewpoint cluster label assignment. Extensive experiments on the Market1501 and DukeMTMC-reID datasets demonstrated that our method outperforms the state-of-the-art supervised Re-ID methods.

研究动机与目标

• 为解决行人重识别中因视角差异导致同一人从不同角度拍摄的图像间视觉外观差异过大的挑战。
• 克服现有方法将视角与身份学习分开处理、并分配硬性视角标签所导致的特征表示次优问题。
• 在统一超球面内联合建模身份级别与视角级别的特征分布，以提升跨视角匹配性能。
• 通过引入视角感知标签平滑正则化（VALSR）实现自适应软标签，减轻模糊或噪声视角标签的负面影响。
• 在存在不完美视角标注的真实世界条件下，展示方法的鲁棒性与性能增益。

提出的方法

• 提出一个统一的超球面嵌入空间，将所有视角的特征投影其中，实现身份与视角分布的联合建模。
• 引入一种视角感知的角度损失，利用中心正则化实现身份级别的分离与视角级别的聚类，同时连接视觉相似的视角簇。
• 提出视角感知的自适应标签平滑正则化（VALSR），将单热硬标签替换为基于与分类中心相似度的自适应软标签。
• 引入中心正则化项，将同一身份下不同视角簇的中心拉近，以反映其视觉相似性。
• 采用联合学习框架，通过所提出的角损失和VALSR，同时优化身份与视角的判别能力。
• 将该方法应用于全局与局部特征学习，其中局部分支采用多条带结构以增强细粒度表示能力。

实验结果

研究问题

• RQ1 在统一超球面中联合建模身份与视角分布，是否能提升视角变化下的行人重识别性能？
• RQ2 将硬性视角标签替换为自适应软标签，是否能减轻模糊或噪声视角标注的负面影响？
• RQ3 与传统硬标签相比，视角感知的自适应标签平滑正则化（VALSR）在特征表示上表现如何？
• RQ4 所提方法在真实世界数据集中存在噪声或不准确视角标签时，其鲁棒性如何？
• RQ5 全局与局部特征的融合是否能进一步提升跨视角重识别性能？

主要发现

• 在Market-1501上，VA-reID结合局部特征后，mAP提升1.73%，Rank-1提升0.36%，达到最先进性能。
• 在DukeMTMC-reID上，VA-reID结合局部特征后，mAP提升3.03%，Rank-1提升0.50%，达到最先进性能。
• 即使姿态驱动的视角聚类准确率仅为44.57%，VA-reID使用PC标签在DukeMTMC-reID上仍达到80.69% mAP与90.35% Rank-1，表现出对噪声标签的强大鲁棒性。
• 使用预测视角标签（P）的VA-reID在DukeMTMC-reID上达到81.05% mAP与90.75% Rank-1，几乎与真实标签（81.48% mAP，91.11% Rank-1）性能相当。
• 可视化结果表明，VA-reID在跨视角检索中显著优于基线方法，即使查询图像来自不同视角，也能正确检索出多视角下的匹配图像。
• 超参数分析表明，该方法在α与β的广泛取值范围内均表现稳定，验证了自适应标签平滑机制的有效性。