[论文解读] Progressive Feature Learning for Realistic Cloth-Changing Gait Recognition

Xuqian Ren, Saihui Hou+3 more|arXiv (Cornell University)|Jul 24, 2022

Gait Recognition and Analysis被引用 4

一句话总结

本文提出了一项新颖的现实衣着变换步态识别（RCC-GR）任务，并提出一种渐进式特征学习框架，以解决跨视角和跨衣着的步态识别问题，且子数据集之间无重叠。该方法通过渐进映射与渐进不确定性，依次学习跨视角与跨衣着特征，在CASIA-BN-RCC上将准确率提升最高达48.5%，在OUMVLP-RCC上提升最高达55.6%（在CL条件下）。

ABSTRACT

Gait recognition is instrumental in crime prevention and social security, for it can be conducted at a long distance to figure out the identity of persons. However, existing datasets and methods cannot satisfactorily deal with the most challenging cloth-changing problem in practice. Specifically, the practical gait models are usually trained on automatically labeled data, in which the sequences' views and cloth conditions of each person have some restrictions. To be concrete, the cross-view sub-dataset only has normal walking condition without cloth-changing, while the cross-cloth sub-dataset has cloth-changing sequences but only in front views. As a result, the cloth-changing accuracy cannot meet practical requirements. In this work, we formulate the problem as Realistic Cloth-Changing Gait Recognition (abbreviated as RCC-GR) and we construct two benchmarks: CASIA-BN-RCC and OUMVLP-RCC, to simulate the above setting. Furthermore, we propose a new framework called Progressive Feature Learning that can be applied with off-the-shelf backbones to improve their performance in RCC-GR. Specifically, in our framework, we design Progressive Mapping and Progressive Uncertainty to extract cross-view features and then extract cross-cloth features on the basis. In this way, the feature from the cross-view sub-dataset can first dominate the feature space and relieve the uneven distribution caused by the adverse effect from the cross-cloth sub-dataset. The experiments on our benchmarks show that our framework can effectively improve recognition performance, especially in the cloth-changing conditions.

研究动机与目标

• 为解决个体在不同视角下穿着不同衣物时的真实世界步态识别挑战，这是现实监控中常见但研究不足的问题。
• 构建两个新基准CASIA-BN-RCC与OUMVLP-RCC，以模拟实际中非重叠的跨视角与跨衣着数据分布。
• 开发一种框架，使现成的步态识别主干网络能够在真实衣着变换条件下有效泛化。
• 缓解由于跨视角与跨衣着子数据集之间类内多样性不均衡所导致的特征空间失真。

提出的方法

• 提出两阶段渐进映射模块：先进行跨视角映射（CVM），再进行跨衣着映射（CCM），首先利用跨视角数据扩展特征空间，再学习跨衣着表示。
• 引入渐进不确定性，将每个步态序列建模为高斯分布（均值μ与方差σ²），以稳定训练并提升泛化能力。
• 采用不确定性感知三元组损失（ℒtv, ℒtc），为较简单的跨视角样本分配更高的梯度权重，并降低在困难的跨衣着样本上的过拟合风险。
• 通过从高斯分布中重采样生成额外嵌入，增强特征的鲁棒性与判别能力。
• 与现成主干网络（如GaitSet）结合使用，实现即插即用的性能提升，无需对网络结构进行大规模修改。
• 分别为跨视角与跨衣着子数据集使用独立的三元组损失ℒnv与ℒnc，以避免优化过程中的负向干扰。

实验结果

研究问题

• RQ1 两阶段特征学习策略是否能有效提升在非重叠数据分布下的真实衣着变换条件中的步态识别性能？
• RQ2 与将步态序列视为点相比，将其建模为高斯分布在跨衣着场景中如何影响模型泛化能力？
• RQ3 渐进学习在多大程度上缓解了由于跨视角与跨衣着子数据集之间类内多样性不平衡所导致的特征空间失真？
• RQ4 在相同主干网络与训练协议下，所提框架是否优于标准的一阶段特征学习方法？

主要发现

• 渐进映射策略在CASIA-BN-RCC上将CL准确率提升至48.5%，在OUMVLP-RCC上提升至55.6%，优于单阶段基线模型。
• 结合重采样技术的渐进不确定性使CL准确率在CASIA-BN-RCC上达到51.6%，在OUMVLP-RCC上达到57.3%，证明了不确定性感知训练的优势。
• 仅使用跨衣着方差（σc）并结合CCM可达到50.7%的CL准确率，而结合CVM与CCM后提升至50.3%，表明完整不确定性建模的重要性。
• 消融实验证实，性能提升源于两阶段模块与三元组损失设计，而非参数量增加。
• 该框架在CASIA-BN-RCC的NM上达到90.2%的rank-1准确率，在BG上达到83.1%，展现出在所有子数据集上的强大泛化能力。
• 所提出的基准CASIA-BN-RCC与OUMVLP-RCC能有效模拟真实世界中的衣着变换步态识别，支持公平且真实的评估。