[论文解读] Towards Robust and Expressive Whole-body Human Pose and Shape Estimation

Hui EnPang, Zhongang Cai+5 more|arXiv (Cornell University)|Dec 14, 2023

Human Pose and Action Recognition被引用 7

一句话总结

本文提出 RoboSMPLX，一种新颖的框架，用于从单张 RGB 图像中实现鲁棒且富有表现力的全身人体姿态与形状估计。该框架集成了用于精确主体部位定位的定位模块、通过对比学习提升数据增强下特征鲁棒性的对比特征提取模块，以及利用可微渲染实现精确网格投影的像素对齐模块。该方法在人体、手部、面部及全身基准测试中均达到最先进性能，关键指标如 MPJPE 和 PVE 显著提升。

ABSTRACT

Whole-body pose and shape estimation aims to jointly predict different behaviors (e.g., pose, hand gesture, facial expression) of the entire human body from a monocular image. Existing methods often exhibit degraded performance under the complexity of in-the-wild scenarios. We argue that the accuracy and reliability of these models are significantly affected by the quality of the predicted extit{bounding box}, e.g., the scale and alignment of body parts. The natural discrepancy between the ideal bounding box annotations and model detection results is particularly detrimental to the performance of whole-body pose and shape estimation. In this paper, we propose a novel framework to enhance the robustness of whole-body pose and shape estimation. Our framework incorporates three new modules to address the above challenges from three perspectives: extbf{1) Localization Module} enhances the model's awareness of the subject's location and semantics within the image space. extbf{2) Contrastive Feature Extraction Module} encourages the model to be invariant to robust augmentations by incorporating contrastive loss with dedicated positive samples. extbf{3) Pixel Alignment Module} ensures the reprojected mesh from the predicted camera and body model parameters are accurate and pixel-aligned. We perform comprehensive experiments to demonstrate the effectiveness of our proposed framework on body, hands, face and whole-body benchmarks. Codebase is available at \url{https://github.com/robosmplx/robosmplx}.

研究动机与目标

• 为解决现有全身姿态与形状估计方法在真实场景下鲁棒性差的问题，特别是由于部位裁剪质量不可靠所致。
• 通过提升主体定位能力，特别是对小尺寸或遮挡部位（如手部和面部）的定位，增强模型可靠性。
• 通过对比学习学习在多样化数据增强下保持不变的特征表示，提升特征鲁棒性。
• 通过可微渲染确保预测 3D 网格与 2D 图像之间的像素级对齐。
• 开发统一框架，联合优化姿态、形状、表情与相机参数，提升泛化能力与一致性。

提出的方法

• 定位模块采用稀疏与密集预测分支，联合学习关节点位置与部位分割掩码，提升对图像中主体位置与语义的理解。
• 对比特征提取模块应用基于姿态与形状感知的对比损失，并使用专门设计的正样本，以在鲁棒增强下保持一致的特征表示。
• 像素对齐模块利用可微渲染技术优化网格投影，最小化渲染后的 2D 顶点与真实图像特征之间的差异。
• 该框架将上述模块整合为统一的端到端训练流程，联合优化 3D 网格重建、相机参数与形状参数。
• 采用多任务监督策略，结合关节点损失、分割损失与投影损失，以提升几何精度与特征一致性。
• 模型在多样化数据集上进行训练，包括 3D 人体基准数据集，并采用强数据增强策略，但避免使用会降低性能的全局变换（如翻转与旋转）。

实验结果

研究问题

• RQ1 身体部位定位不准确或不一致如何影响全身姿态与形状估计的性能？
• RQ2 采用姿态与形状感知的正样本进行对比学习，能否提升数据增强下的特征鲁棒性？
• RQ3 可微渲染在多大程度上提升了预测 3D 网格与 2D 图像观测之间的像素级对齐精度？
• RQ4 所提出的各模块在单独与联合使用时，如何共同减少真实场景下的 MPJPE 与 PVE 误差？
• RQ5 当前全身估计框架在处理遮挡、分布外数据及多人场景时存在哪些局限性？

主要发现

• RoboSMPLX 在全身基准测试中达到最先进性能，相比基线模型，MPJPE 降低 0.45 mm，PVE 降低 0.31 mm。
• 引入定位模块（LF）后，MPJPE 降低 0.31 mm，PVE 降低 0.42 mm，证明其在提升定位精度方面的有效性。
• 对比特征提取模块使 MPJPE 降低 0.23 mm，PVE 降低 0.18 mm，表明其在增强增强下的特征鲁棒性。
• 结合可微渲染与投影损失（L_proj）的像素对齐模块使 MPJPE 降低 0.38 mm，PVE 降低 0.45 mm，显著提升网格与图像的对齐精度。
• 三者模块联合使用（LF + 对比 + L_proj）达到最佳性能，在全身基准上实现 MPJPE 7.33 mm 与 PVE 14.59 mm。
• 消融实验表明，使用大尺度与高抖动因子的强增强策略会降低性能，凸显了增强设计需谨慎的重要性。