[论文解读] PeopleSansPeople: A Synthetic Data Generator for Human-Centric Computer Vision

Salehe Erfanian Ebadi, You-Cyuan Jhang+7 more|arXiv (Cornell University)|Dec 17, 2021

Human Pose and Action Recognition被引用 14

一句话总结

PeopleSansPeople 是一种面向以人为中心的计算机视觉任务的合成数据生成器，可生成适用于模拟的3D人体资产、动态光照与相机设置，以及包含2D/3D边界框、实例与语义分割掩码、以及COCO风格关键点标注的丰富标注数据。当用于预训练Detectron2关键点R-CNN模型时，在少样本迁移设置下实现了+38.03 AP的性能提升，在全量数据设置下实现了+1.47 AP的提升，优于仅使用真实数据或ImageNet预训练的基线模型。

ABSTRACT

In recent years, person detection and human pose estimation have made great strides, helped by large-scale labeled datasets. However, these datasets had no guarantees or analysis of human activities, poses, or context diversity. Additionally, privacy, legal, safety, and ethical concerns may limit the ability to collect more human data. An emerging alternative to real-world data that alleviates some of these issues is synthetic data. However, creation of synthetic data generators is incredibly challenging and prevents researchers from exploring their usefulness. Therefore, we release a human-centric synthetic data generator PeopleSansPeople which contains simulation-ready 3D human assets, a parameterized lighting and camera system, and generates 2D and 3D bounding box, instance and semantic segmentation, and COCO pose labels. Using PeopleSansPeople, we performed benchmark synthetic data training using a Detectron2 Keypoint R-CNN variant [1]. We found that pre-training a network using synthetic data and fine-tuning on various sizes of real-world data resulted in a keypoint AP increase of $+38.03$ ($44.43 \pm 0.17$ vs. $6.40$) for few-shot transfer (limited subsets of COCO-person train [2]), and an increase of $+1.47$ ($63.47 \pm 0.19$ vs. $62.00$) for abundant real data regimes, outperforming models trained with the same real data alone. We also found that our models outperformed those pre-trained with ImageNet with a keypoint AP increase of $+22.53$ ($44.43 \pm 0.17$ vs. $21.90$) for few-shot transfer and $+1.07$ ($63.47 \pm 0.19$ vs. $62.40$) for abundant real data regimes. This freely-available data generator should enable a wide range of research into the emerging field of simulation to real transfer learning in the critical area of human-centric computer vision.

研究动机与目标

• 通过创建可扩展、符合隐私合规要求的合成数据解决方案，解决真实世界以人为中心的数据集在多样性与伦理方面的问题。
• 在不依赖大规模真实标注数据的前提下，实现以人为中心的计算机视觉任务中的模拟到真实迁移学习。
• 为研究人员提供一个完全可访问、可直接用于模拟的工具，以探索合成数据在关键点估计与人体检测任务中的应用。
• 克服为以人为中心的任务创建高保真、可控的合成数据生成器的挑战。

提出的方法

• 该框架利用参数化3D人体模型，生成具有多样化姿态、体型与服装的3D人体资产。
• 采用参数化光照与相机系统，模拟真实场景变化与观测条件。
• 系统渲染合成图像，并自动生成2D与3D边界框、实例与语义分割掩码，以及COCO风格关键点标注。
• 与Unity集成，实现模拟就绪的部署，并支持端到端训练流程。
• 使用合成数据对基于Detectron2的关键点R-CNN模型进行预训练，随后在真实数据上进行微调。
• 整个流程完全开源，代码、模板与基准二进制文件均公开可获取。

实验结果

研究问题

• RQ1 使用PeopleSansPeople生成的合成数据在预训练中能否实现关键姿态估计任务的最先进性能？
• RQ2 在少样本与大量真实数据设置下，合成数据预训练与ImageNet预训练相比表现如何？
• RQ3 合成数据中姿态、光照与相机配置的多样性在模拟到真实迁移中在多大程度上提升了泛化能力？
• RQ4 该合成数据生成器在保持或提升模型性能的同时，能否减少对大规模真实世界人体标注数据的依赖？

主要发现

• 使用PeopleSansPeople进行预训练，并在有限的COCO-person训练数据上微调，关键点检测性能提升了+38.03 AP（44.43 ± 0.17 vs. 6.40）。
• 在全量数据设置下，与仅使用真实数据训练相比，合成数据预训练使AP提升了+1.47（63.47 ± 0.19 vs. 62.00）。
• 在少样本迁移设置下，PeopleSansPeople预训练的模型比ImageNet预训练模型高出+22.53 AP（44.43 ± 0.17 vs. 21.90）。
• 即使在大量真实数据设置下，PeopleSansPeople预训练仍比ImageNet预训练带来+1.07 AP的提升（63.47 ± 0.19 vs. 62.40）。
• 该合成数据生成器在仅使用极少真实数据时即实现优异性能，证明其在真实世界任务中具有高度可迁移性。
• 生成器、Unity环境与基准二进制文件的开源可访问性，促进了研究的可复现性，并推动了该领域更广泛的应用。