[论文解读] Sim2real transfer learning for 3D pose estimation: motion to the rescue

Carl Doersch, Andrew Zisserman|arXiv (Cornell University)|Jul 4, 2019

Human Pose and Action Recognition参考文献 100被引用 15

一句话总结

本文提出使用运动线索——具体为光流和2D关键点轨迹——作为合成RGB图像的预处理手段，以提升3D人体姿态估计中的模拟到现实（sim2real）迁移性能。通过在SURREAL数据集的合成数据上使用运动特征进行训练，该方法在具有挑战性的3D Poses in the Wild基准上实现了最先进性能，尽管训练过程中未使用任何真实世界3D标注，其全3D网格恢复性能仍可与基于真实数据训练的模型相媲美。

ABSTRACT

Simulation is an anonymous, low-bias source of data where annotation can often be done automatically; however, for some tasks, current models trained on synthetic data generalize poorly to real data. The task of 3D human pose estimation is a particularly interesting example of this sim2real problem, because learning-based approaches perform reasonably well given real training data, yet labeled 3D poses are extremely difficult to obtain in the wild, limiting scalability. In this paper, we show that standard neural-network approaches, which perform poorly when trained on synthetic RGB images, can perform well when the data is pre-processed to extract cues about the person's motion, notably as optical flow and the motion of 2D keypoints. Therefore, our results suggest that motion can be a simple way to bridge a sim2real gap when video is available. We evaluate on the 3D Poses in the Wild dataset, the most challenging modern standard of 3D pose estimation, where we show full 3D mesh recovery that is on par with state-of-the-art methods trained on real 3D sequences, despite training only on synthetic humans from the SURREAL dataset.

研究动机与目标

• 解决3D人体姿态估计中的sim2real泛化差距问题，即在合成数据上训练的模型在真实世界数据上表现不佳。
• 克服真实世界3D标注人体姿态数据稀缺的问题，该问题限制了监督学习方法的可扩展性。
• 探究从视频中提取的运动线索是否可作为连接合成数据与真实数据分布的桥梁。
• 仅使用合成RGB数据并结合运动预处理，实现高保真3D网格恢复，避免昂贵的真实3D标注。

提出的方法

• 对SURREAL数据集中的合成RGB视频帧进行预处理，提取光流和2D关键点轨迹作为运动特征。
• 将增强运动特征的合成数据输入标准3D姿态估计网络，将运动特征作为额外输入通道。
• 仅在带有运动特征的合成数据上训练模型，不使用任何真实3D姿态标注。
• 使用标准的3D网格回归头，从运动增强的输入中预测完整的3D人体网格。
• 利用运动线索的时间一致性，提升模型在真实世界视频序列上的泛化能力。
• 在3D Poses in the Wild基准上评估模型，该基准包含带有3D标注的非约束、真实世界视频序列。

实验结果

研究问题

• RQ1 从视频中提取的运动线索是否能提升3D人体姿态估计中的sim2real迁移性能？
• RQ2 对合成RGB数据进行光流和2D关键点运动的预处理，是否能显著提升模型在真实世界数据上的泛化能力？
• RQ3 仅在合成数据上结合运动特征训练的模型，是否能达到与在真实3D序列上训练的最先进方法相当的性能？
• RQ4 当缺乏真实3D标注时，基于运动的特征工程在弥合sim2real差距方面的有效性如何？

主要发现

• 所提方法在全3D网格恢复性能上与在真实3D序列上训练的最先进方法相当，尽管其仅在合成数据上进行训练。
• 将光流和2D关键点运动作为预处理手段，显著提升了从模拟环境到真实世界数据的泛化能力。
• 该模型优于在原始合成RGB图像上训练的标准神经网络，后者在真实数据上无法泛化。
• 运动特征作为强归纳偏置，有效对齐了合成数据与真实世界视频数据的分布。
• 该方法在3D Poses in the Wild基准上取得了具有竞争力的结果，该基准是包含非约束、多样化姿态的真实世界数据集。
• 结果表明，运动信息可作为3D人体姿态估计中sim2real问题的简单但极为有效的解决方案。