[论文解读] Occluded Human Body Capture with Self-Supervised Spatial-Temporal Motion Prior

Buzhen Huang, Yuan Shu+2 more|arXiv (Cornell University)|Jul 12, 2022

Human Pose and Action Recognition被引用 4

一句话总结

本文提出一种从非遮挡数据中学习的自监督时空运动先验，以提升在遮挡情况下的单目3D人体动作捕捉性能。通过将2D运动编码为特征图并合成遮挡，该方法利用掩码图像建模训练一种关节级时空网络，实现了在真实遮挡视频中准确、连贯的3D动作恢复，具备出色的泛化能力与效率。

ABSTRACT

Although significant progress has been achieved on monocular maker-less human motion capture in recent years, it is still hard for state-of-the-art methods to obtain satisfactory results in occlusion scenarios. There are two main reasons: the one is that the occluded motion capture is inherently ambiguous as various 3D poses can map to the same 2D observations, which always results in an unreliable estimation. The other is that no sufficient occluded human data can be used for training a robust model. To address the obstacles, our key-idea is to employ non-occluded human data to learn a joint-level spatial-temporal motion prior for occluded human with a self-supervised strategy. To further reduce the gap between synthetic and real occlusion data, we build the first 3D occluded motion dataset~(OcMotion), which can be used for both training and testing. We encode the motions in 2D maps and synthesize occlusions on non-occluded data for the self-supervised training. A spatial-temporal layer is then designed to learn joint-level correlations. The learned prior reduces the ambiguities of occlusions and is robust to diverse occlusion types, which is then adopted to assist the occluded human motion capture. Experimental results show that our method can generate accurate and coherent human motions from occluded videos with good generalization ability and runtime efficiency. The dataset and code are publicly available at \url{https://github.com/boycehbz/CHOMP}.

研究动机与目标

• 解决从遮挡单目视频中进行3D人体动作捕捉时存在的固有歧义问题，即同一组2D观测可能对应多个3D姿态。
• 通过构建一个从合成数据到真实数据可泛化的新型基准，克服真实世界遮挡3D动作数据稀缺的问题，以训练鲁棒模型。
• 通过利用从非遮挡数据中学习到的关节级时空相关性，提升遮挡场景下的动作捕捉精度与时间连贯性。
• 设计一种自监督学习策略，学习一种运动先验，以减少歧义，且无需真实遮挡标注。
• 通过训练轻量化网络并利用时间与运动学先验，实现实时性能的高效推理。

提出的方法

• 将2D人体运动表示为运动图，联合编码空间与时间信息，实现在非遮挡数据上的一致遮挡合成。
• 在非遮挡2D运动图上合成逼真的遮挡，以在自监督预训练过程中模拟多样化的遮挡类型。
• 设计一种自监督掩码图像建模（MIM）任务，从遮挡输入中重建完整运动图，以学习鲁棒的运动先验。
• 引入一种结合空洞卷积与视觉Transformer模块的时空层，以建模关节级空间相关性与全局运动依赖性。
• 使用自监督先验训练提升网络，在真实遮挡场景中引导从可见2D关节点进行3D动作估计。
• 在推理阶段使用最先进2D姿态检测器提取可见关节点坐标，输入模型以预测完整3D动作。

实验结果

研究问题

• RQ1 从非遮挡数据中学习的自监督先验是否能有效减少在遮挡情况下的3D人体动作估计歧义？
• RQ2 与纯时间模型相比，关节级时空建模在遮挡场景中如何提升动作连贯性与准确性？
• RQ3 该方法在无真实遮挡标注的情况下，对多样化遮挡类型与比例的泛化程度如何？
• RQ4 在非遮挡数据上合成的遮挡是否能有效弥合与真实世界遮挡数据之间的域差距？
• RQ5 与端到端优化方法相比，自监督先验的引入在提升推理效率与预测质量方面表现如何？

主要发现

• 在OcMotion数据集上，所提方法的平均MPJPE达到58.2 mm，显著优于基线时间模型（70.5 mm）及消融变体。
• 加入自监督先验与时空层后，相比基线模型，MPJPE降低12.3%，PVE降低12.1%。
• 该方法对遮挡比例从0%到50%均表现出鲁棒性，不同遮挡比例下性能下降微乎其微。
• 引入自监督先验后，PA-MPJPE从无先验时的43.2 mm降至36.1 mm，表明关节级精度显著提升。
• 模型推理速度达36.4 FPS，展现出适用于实时应用的高运行效率。
• 消融实验验证了时空层与自监督先验均不可或缺，完整模型相比变体性能显著更优。