[论文解读] VersatileGait: A Large-Scale Synthetic Gait Dataset with Fine-GrainedAttributes and Complicated Scenarios

Huanzhang Dou, Wenhu Zhang+7 more|arXiv (Cornell University)|Jan 5, 2021

Gait Recognition and Analysis参考文献 49被引用 11

一句话总结

本文提出 VersatileGait，一个通过游戏引擎生成的大规模合成步态数据集，包含约100万条11,000名受试者的轮廓序列，具备细粒度属性和复杂场景。该数据集通过域泛化、属性预测的多任务学习以及多俯仰角下的鲁棒性评估，实现了在预训练后CASIA-B数据集上rank-1准确率提升1.1%的性能改进。

ABSTRACT

With the motivation of practical gait recognition applications, we propose to automatically create a large-scale synthetic gait dataset (called VersatileGait) by a game engine, which consists of around one million silhouette sequences of 11,000 subjects with fine-grained attributes in various complicated scenarios. Compared with existing real gait datasets with limited samples and simple scenarios, the proposed VersatileGait dataset possesses several nice properties, including huge dataset size, high sample diversity, high-quality annotations, multi-pitch angles, small domain gap with the real one, etc. Furthermore, we investigate the effectiveness of our dataset (e.g., domain transfer after pretraining). Then, we use the fine-grained attributes from VersatileGait to promote gait recognition in both accuracy and speed, and meanwhile justify the gait recognition performance under multi-pitch angle settings. Additionally, we explore a variety of potential applications for research.Extensive experiments demonstrate the value and effective-ness of the proposed VersatileGait in gait recognition along with its associated applications. We will release both VersatileGait and its corresponding data generation toolkit for further studies.

研究动机与目标

• 解决缺乏大规模、多样化、具备细粒度属性和复杂真实场景步态数据集的问题。
• 克服真实世界数据集的局限性，包括规模小、标注简单以及视角变化有限。
• 实现在多俯仰角和多视角条件下的域泛化与鲁棒性。
• 探索新应用，如属性引导的步态检索、多人步态识别以及解耦表示学习。

提出的方法

• 使用游戏引擎生成具有参数化属性（如性别、服装、配饰）的高保真3D人体模型。
• 模拟多样化的行走动画，并将其重定向至不同体型和步态类型。
• 渲染复杂、逼真的场景，包含多个摄像机角度和光照条件，以模拟真实世界的变化性。
• 捕获高质量轮廓序列（无纹理、二值掩码），以最小化与真实数据的域差距。
• 将细粒度属性注释（如服装、包、行走风格）整合到每条序列中，以支持多任务学习。
• 利用合成数据集对深度学习模型进行预训练，随后在真实世界基准（如CASIA-B）上进行微调。

实验结果

研究问题

• RQ1 具备细粒度属性和复杂场景的大规模合成步态数据集是否能提升真实世界步态识别的泛化能力？
• RQ2 多俯仰角数据如何影响步态识别模型的鲁棒性和准确性？
• RQ3 能否通过预测属性来加速步态检索？
• RQ4 缺少特定俯仰角（如60°）数据对跨俯仰角识别中模型性能有何影响？
• RQ5 VersatileGait能否支持新应用，如多人步态识别和解耦表示学习？

主要发现

• 在VersatileGait上进行预训练，使SOTA方法在CASIA-B数据集上的rank-1准确率提升了1.1%。
• 未在60°俯仰角数据上进行训练的模型性能出现显著下降，凸显高角度数据的重要性。
• 未在30°俯仰角数据上进行训练的模型性能保持相对稳定，表明对中等角度视图的敏感度较低。
• 即使在训练数据中包含多角度信息，60°探测视图的跨俯仰角识别准确率仍显著下降，表明几何失真带来高挑战。
• 通过预测属性进行的属性引导多任务学习，可通过快速过滤候选样本，实现更快的步态检索。
• 该数据集支持新应用，如遮挡条件下的多人步态识别以及步态与配饰特征的解耦表示学习。