[论文解读] Playing for 3D Human Recovery

Zhongang Cai, Mingyuan Zhang+8 more|arXiv (Cornell University)|Oct 14, 2021

Human Pose and Action Recognition参考文献 63被引用 17

一句话总结

本文提出GTA-Human，一个大规模的合成数据集，包含140万条带有SMPL参数的3D人体动作序列，通过自动化游戏AI在《侠盗猎车手V》中生成。研究证明，结合真实数据使用GTA-Human的合成数据能显著提升3D人体姿态与形状估计性能，尤其在野外、非受限场景下，优于当前最先进方法。

ABSTRACT

Image- and video-based 3D human recovery (i.e., pose and shape estimation) have achieved substantial progress. However, due to the prohibitive cost of motion capture, existing datasets are often limited in scale and diversity. In this work, we obtain massive human sequences by playing the video game with automatically annotated 3D ground truths. Specifically, we contribute GTA-Human, a large-scale 3D human dataset generated with the GTA-V game engine, featuring a highly diverse set of subjects, actions, and scenarios. More importantly, we study the use of game-playing data and obtain five major insights. First, game-playing data is surprisingly effective. A simple frame-based baseline trained on GTA-Human outperforms more sophisticated methods by a large margin. For video-based methods, GTA-Human is even on par with the in-domain training set. Second, we discover that synthetic data provides critical complements to the real data that is typically collected indoor. Our investigation into domain gap provides explanations for our data mixture strategies that are simple yet useful. Third, the scale of the dataset matters. The performance boost is closely related to the additional data available. A systematic study reveals the model sensitivity to data density from multiple key aspects. Fourth, the effectiveness of GTA-Human is also attributed to the rich collection of strong supervision labels (SMPL parameters), which are otherwise expensive to acquire in real datasets. Fifth, the benefits of synthetic data extend to larger models such as deeper convolutional neural networks (CNNs) and Transformers, for which a significant impact is also observed. We hope our work could pave the way for scaling up 3D human recovery to the real world. Homepage: https://caizhongang.github.io/projects/GTA-Human/

研究动机与目标

• 解决高质量SMPL标注的3D人体数据集稀缺且成本高昂的问题，以支持3D人体重建任务。
• 克服现有真实世界数据集的局限性，如规模小、仅限室内场景或缺乏参数化3D监督。
• 探索使用合成游戏生成数据来增强3D人体估计模型的可行性和有效性。
• 研究混合真实与合成数据的策略，以减小域差距并提升泛化能力。
• 证明大规模合成数据若具备强监督（如SMPL参数），可与真实数据媲美甚至超越其性能，即使对复杂模型（如Transformer）亦然。

提出的方法

• 部署一组计算代理，自主游玩《侠盗猎车手V》，收集多样化视频序列，并保持一致的3D人体标注。
• 利用游戏引擎内部的3D数据管道，自动提取每个虚拟人体的SMPL参数（姿态与形状）。
• 系统性地改变主体（600+）、动作（20,000种）、地点（6类）、相机角度、光照与天气，以最大化数据多样性。
• 构建数据混合策略，将GTA-Human与真实世界数据集（如3DPW、MPI-INF-3DHP）结合用于训练与微调。
• 在混合真实与合成数据上训练并评估多种模型（包括HMR、SPIN、VIBE与PARE），以衡量性能提升。
• 通过消融实验分析模型对数据密度、监督质量及主干网络架构（CNN与Transformer）的敏感性。

实验结果

研究问题

• RQ1 合成游戏生成数据能否显著提升3D人体姿态与形状估计性能，尤其是在非受限（野外）场景下？
• RQ2 仅基于合成数据训练的简单帧级基线方法，相较于在真实数据上训练的更复杂SOTA方法，效果如何？
• RQ3 混合真实与合成数据在多大程度上能减小域差距，并提升在多样化环境中的泛化能力？
• RQ4 数据规模与密度如何影响3D人体重建任务中的模型性能？
• RQ5 深层模型（如Transformer）是否能从具备强监督（如SMPL参数）的大规模合成数据中获益？

主要发现

• 仅在GTA-Human上训练的简单帧级基线模型，在3DPW等真实世界基准测试中，性能优于在真实数据上训练的更复杂SOTA方法（如SPIN与VIBE）。
• 使用混合真实与合成数据（GTA-Human + 真实数据）训练的模型，性能可与在域内真实数据上训练的模型比肩，证明了强大的域泛化能力。
• 模型性能对数据密度高度敏感：性能提升与额外数据量密切相关，尤其在野外场景中更为显著。
• GTA-Human中丰富的SMPL监督（140万条标注序列）提供了关键优势，相较真实数据集，此类标注在真实世界中成本极高。
• 深层架构（如Transformer与深层CNN）在GTA-Human上预训练后，性能亦有显著提升，证实了合成数据优势的可扩展性。
• 该数据集在主体、动作与环境（包括户外场景）上的多样性，使模型能更好地泛化至真实世界的野外场景。