[论文解读] PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction

Zerong Zheng, Changyuan Yu+2 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Vision and Imaging被引用 8

一句话总结

PaMIR 提出了一种基于参数化模型条件化的隐式表示方法，将 SMPL 人体模型与深度隐式函数相结合，实现了从单张 RGB 图像出发的高保真、细节丰富的 3D 人体重建。通过引入一种对深度模糊性敏感的损失函数以及一个身体参考优化模块，PaMIR 在具有挑战性的姿势和复杂服装条件下实现了最先进性能，即使在 SMPL 初始估计不准确的情况下依然表现稳健，同时在无需标定的多图像设置下也展现出良好的泛化能力。

ABSTRACT

Modeling 3D humans accurately and robustly from a single image is very challenging, and the key for such an ill-posed problem is the 3D representation of the human models. To overcome the limitations of regular 3D representations, we propose Parametric Model-Conditioned Implicit Representation (PaMIR), which combines the parametric body model with the free-form deep implicit function. In our PaMIR-based reconstruction framework, a novel deep neural network is proposed to regularize the free-form deep implicit function using the semantic features of the parametric model, which improves the generalization ability under the scenarios of challenging poses and various clothing topologies. Moreover, a novel depth-ambiguity-aware training loss is further integrated to resolve depth ambiguities and enable successful surface detail reconstruction with imperfect body reference. Finally, we propose a body reference optimization method to improve the parametric model estimation accuracy and to enhance the consistency between the parametric model and the implicit function. With the PaMIR representation, our framework can be easily extended to multi-image input scenarios without the need of multi-camera calibration and pose synchronization. Experimental results demonstrate that our method achieves state-of-the-art performance for image-based 3D human reconstruction in the cases of challenging poses and clothing types.

研究动机与目标

• 为解决由于深度模糊性、自遮挡以及姿态和服装变化导致的单图像 3D 人体重建问题的病态性质。
• 通过统一 SMPL 先验与自由形式隐式函数，克服纯参数化或非参数化表示方法的局限性。
• 通过缓解深度模糊性并优化身体参考对齐，提升在推理阶段 SMPL 估计不准确时的泛化能力。
• 实现在无需多相机标定或姿态同步的情况下，对多样化姿态和服装类型均具有鲁棒性且细节丰富的重建能力。

提出的方法

• 提出 PaMIR，一种统一的表示方法，通过将深层隐式函数基于参数化 SMPL 模型的特征进行条件化，以引导自由形式几何学习。
• 引入一种对深度模糊性敏感的训练损失，以减少在缺乏真实深度监督时由深度模糊性引起的误差。
• 采用身体参考优化模块，在推理过程中优化 SMPL 估计，以提升其与图像观测的一致性。
• 使用双分支网络提取图像特征和基于 SMPL 的 3D 特征体素，进而用于预测 3D 点处的隐式函数值。
• 通过跨视角的特征融合实现多图像扩展，无需相机标定或同步姿态。
• 利用高质量 3D 扫描数据进行监督训练，使隐式函数能够学习超越 SMPL 模板的精细细节。

实验结果

研究问题

• RQ1 当 SMPL 人体模型估计不准确时，如何提升从单张 RGB 图像进行 3D 人体重建的性能？
• RQ2 能否通过基于参数化模型的深层隐式函数，在保持对复杂姿态和服装鲁棒性的同时，实现高保真表面细节恢复？
• RQ3 在缺乏真实深度监督的情况下，如何在训练过程中缓解深度模糊性以提升泛化能力？
• RQ4 身体参考优化在多大程度上能改善预测 SMPL 模型与图像观测之间的对齐？
• RQ5 所提出的框架能否扩展至多图像重建，且无需多相机标定或姿态同步？

主要发现

• 所提方法在 3D 人体重建任务中达到最先进性能，尤其在处理复杂服装和挑战性姿态方面表现优异。
• 在 BUFF 数据集上，经过身体参考优化后，平均关节位置误差（MPJPE）从 2.65 cm 降低至 2.49 cm；在 TWINDOM 数据集上，从 2.85 cm 降低至 2.74 cm。
• 法向重投影误差从 1 视图的 0.161 降低至 4 视图的 0.135，表明多视角融合显著提升了几何细节恢复能力。
• 深度模糊性感知损失使在 SMPL 参考不完美时仍能成功重建表面细节，降低了对精确初始化的依赖。
• 该方法在多图像输入下表现出良好泛化能力，无需多相机标定或姿态同步，即可实现一致且细节丰富的重建结果。
• 在极端复杂姿态下仍存在失败案例，表明当前方法在处理高度复杂身体构型方面仍存在局限。