[论文解读] Pose2Pose: 3D Positional Pose-Guided 3D Rotational Pose Prediction for Expressive 3D Human Pose and Mesh Estimation

Gyeongsik Moon, Kyoung Mu Lee|arXiv (Cornell University)|Nov 23, 2020

Human Pose and Action Recognition参考文献 54被引用 20

一句话总结

Pose2Pose 提出了一种基于3D位置姿态的框架，通过使用位置姿态引导池化从空间关键点位置中提取关节级特征，从而提升3D人体姿态和网格估计性能，实现更精确的3D旋转姿态预测。该方法端到端训练，显著优于以往基于单图像特征的方法，在表达性3D姿态估计方面表现更优。

ABSTRACT

Previous expressive 3D human pose and mesh estimation methods mostly rely on a single image feature vector to predict 3D rotations of human joints (i.e., 3D rotational pose) from an input image. However, the single image feature vector lacks human joint-level features. To resolve the limitation, we present Pose2Pose, a 3D positional pose-guided 3D rotational pose prediction framework for expressive 3D human pose and mesh estimation. Pose2Pose extracts the joint-level features on the position of human joints (i.e., positional pose) using a positional pose-guided pooling, and the joint-level features are used for the 3D rotational pose prediction. Our Pose2Pose is trained in an end-to-end manner and largely outperforms previous expressive methods. The codes will be publicly available.

研究动机与目标

• 解决先前方法依赖于缺乏关节级空间信息的单图像特征向量的局限性。
• 通过整合人体关节的空间位置特征，提升3D旋转姿态预测的准确性。
• 开发一种可端到端训练的框架，将关节级特征整合到3D姿态估计中。
• 通过建模关节之间的空间关系，实现更具表现力和准确的3D人体网格与姿态估计。

提出的方法

• 引入一种位置姿态引导池化机制，从人体关节的空间位置中提取关节级特征。
• 利用提取的关节级特征作为上下文，指导3D旋转姿态预测，提升定位准确性。
• 设计一种可端到端训练的神经网络，联合优化网格和3D姿态估计，利用关节级特征。
• 利用人体关节的空间结构，提升特征表示能力，超越标准的图像级嵌入。
• 将位置姿态特征集成到回归头中，用于3D关节旋转预测。
• 使用3D姿态和网格重建的监督信号，对整个模型进行端到端训练。

实验结果

研究问题

• RQ1 与单图像特征向量相比，从3D关节位置中提取的关节级空间特征是否能提升3D旋转姿态预测性能？
• RQ2 引入位置姿态引导是否能提升表达性3D人体网格与姿态估计的准确性？
• RQ3 与依赖全局图像特征的先前方法相比，使用关节级特征进行端到端训练在多大程度上表现更优？
• RQ4 位置姿态引导池化能否有效捕捉人体关节之间的空间关系，从而提升3D姿态回归性能？

主要发现

• Pose2Pose 在3D旋转姿态预测方面优于以往的表达性3D人体姿态估计方法。
• 通过位置姿态引导池化整合关节级特征，显著提升了3D关节回归的准确性。
• 端到端训练方案促进了更好的特征学习，并提升了网格重建质量。
• 该方法优于仅依赖全局图像特征向量的基线模型，证明了空间关节级表征的价值。
• 由于增强了关节关系的空间建模，该框架在表达性姿态上表现出强大的泛化能力。