[论文解读] PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop

Hongwen Zhang, Yating Tian+5 more|arXiv (Cornell University)|Mar 30, 2021

Human Pose and Action Recognition参考文献 73被引用 11

一句话总结

PyMAF 提出了一种用于从单张图像进行3D人体网格重建的分层网格对齐反馈循环，通过利用来自特征金字塔的多尺度、网格对齐特征，迭代优化预测参数，从而提升网格与图像之间的对齐效果。该方法通过在密集对应关系上施加辅助像素级监督，增强了特征的可靠性，在 Human3.6M、3DPW、LSP 和 COCO 基准测试中实现了最先进性能，MPJPE 和 PA-MPJPE 指标均得到提升。

ABSTRACT

Regression-based methods have recently shown promising results in reconstructing human meshes from monocular images. By directly mapping raw pixels to model parameters, these methods can produce parametric models in a feed-forward manner via neural networks. However, minor deviation in parameters may lead to noticeable misalignment between the estimated meshes and image evidences. To address this issue, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status in our deep regressor. In PyMAF, given the currently predicted parameters, mesh-aligned evidences will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To reduce noise and enhance the reliability of these evidences, an auxiliary pixel-wise supervision is imposed on the feature encoder, which provides mesh-image correspondence guidance for our network to preserve the most related information in spatial features. The efficacy of our approach is validated on several benchmarks, including Human3.6M, 3DPW, LSP, and COCO, where experimental results show that our approach consistently improves the mesh-image alignment of the reconstruction. The project page with code and video results can be found at https://hongwenzhang.github.io/pymaf.

研究动机与目标

• 为解决基于回归的3D人体网格重建中网格-图像错位的问题，该问题会导致参数微小误差引发明显的关节漂移。
• 通过引入网格-图像对应关系引导，提升用于参数优化的空间特征的可靠性与相关性。
• 通过利用不同分辨率层级的特征，实现基于反馈循环的渐进式、多尺度参数校正。
• 通过引入基于视觉证据显式校正偏差的网格对齐感知反馈机制，减少对迭代误差反馈的依赖。

提出的方法

• 引入一种分层网格对齐反馈循环，基于当前网格估计在2D中的投影，从多尺度特征图中提取网格对齐特征。
• 反馈循环利用这些特征迭代优化预测的网格参数，逐步提升与图像证据的对齐程度。
• 在最高分辨率的特征图上施加辅助像素级监督任务，用于预测密集对应关系，从而引导编码器保留网格-图像对齐信息。
• 通过将投影后的网格顶点作为采样点，提取网格对齐特征，确保空间特征与图像级线索对齐。
• 网络采用端到端训练，结合双重监督：标准网格回归损失与辅助密集对应损失，以提升特征质量。
• 反馈的初始特征可从网格点采样，或从均值姿态网格投影中获取，二者均被证明能有效支持参数优化。

实验结果

研究问题

• RQ1 基于特征金字塔中提取的网格对齐特征，能否改善基于回归的3D人体网格重建中的网格-图像对齐？
• RQ2 在密集对应关系上施加辅助像素级监督，是否能提升用于参数校正的空间特征的可靠性？
• RQ3 与标准的迭代误差反馈相比，所提出的 PyMAF 反馈循环在收敛速度与对齐质量方面表现如何？
• RQ4 多尺度特征的利用在多大程度上改善了运动链中参数漂移的校正？

主要发现

• PyMAF 在 Human3.6M、3DPW、LSP 和 COCO 基准测试中达到最先进性能，当使用密集对应监督与基于特征的输入时，MPJPE 为 75.1 mm，PA-MPJPE 为 48.9 mm。
• 与无辅助监督相比，辅助密集对应监督使 MPJPE 降低 1.7 mm（从 76.8 mm 降至 75.1 mm），证明其在提升特征质量方面的有效性。
• 使用特征图进行逐点特征提取，优于使用辅助预测（如部件分割），当从部件分割切换到特征图时，MPJPE 从 108.1 mm 降至 75.1 mm。
• 即使从均值姿态网格初始化，反馈循环也能显著改善对齐效果，MPJPE 在四次迭代后从 274.0 mm 降低至 75.1 mm。
• 消融实验表明，从低分辨率特征中提取的网格对齐特征可实现大步长校正，而高分辨率特征则提供精细化调整。