[论文解读] SMPLR: Deep SMPL reverse for 3D human pose and shape recovery

Meysam Madadi, Hugo Bertiche+1 more|arXiv (Cornell University)|Dec 27, 2018

Human Pose and Action Recognition参考文献 38被引用 19

一句话总结

该论文提出 SMPLR，一种深度学习框架，通过将 SMPL 人体模型反向使用，利用 3D 关节预测作为中间表示，从单张 RGB 图像中恢复 3D 人体姿态与形状。通过将 SMPLR 框架化为使用 CNN 编码器和 SMPL 作为解码器的自编码器，该方法避免了复杂的正则化，并实现了最先进性能，在 Human3.6M 上将 3D 关节误差降低了 25mm，在 SURREAL 上降低了 3.5mm，相比以往基于 SMPL 的方法。

ABSTRACT

Current state-of-the-art in 3D human pose and shape recovery relies on deep neural networks and statistical morphable body models, such as the Skinned Multi-Person Linear model (SMPL). However, regardless of the advantages of having both body pose and shape, SMPL-based solutions have shown difficulties to predict 3D bodies accurately. This is mainly due to the unconstrained nature of SMPL, which may generate unrealistic body meshes. Because of this, regression of SMPL parameters is a difficult task, often addressed with complex regularization terms. In this paper we propose to embed SMPL within a deep model to accurately estimate 3D pose and shape from a still RGB image. We use CNN-based 3D joint predictions as an intermediate representation to regress SMPL pose and shape parameters. Later, 3D joints are reconstructed again in the SMPL output. This module can be seen as an autoencoder where the encoder is a deep neural network and the decoder is SMPL model. We refer to this as SMPL reverse (SMPLR). By implementing SMPLR as an encoder-decoder we avoid the need of complex constraints on pose and shape. Furthermore, given that in-the-wild datasets usually lack accurate 3D annotations, it is desirable to lift 2D joints to 3D without pairing 3D annotations with RGB images. Therefore, we also propose a denoising autoencoder (DAE) module between CNN and SMPLR, able to lift 2D joints to 3D and partially recover from structured error. We evaluate our method on SURREAL and Human3.6M datasets, showing improvement over SMPL-based state-of-the-art alternatives by about 4 and 25 millimeters, respectively.

研究动机与目标

• 为解决从单张 RGB 图像中准确恢复 3D 人体姿态与形状的挑战，特别是当基于 SMPL 的方法因模型的多对一映射关系及对噪声敏感性而生成不切实际的体网格时。
• 通过使用 3D 关节预测作为中间、解耦的表示，消除对 SMPL 参数回归中复杂正则化项的需求。
• 提升在真实世界场景中对遮挡和深度模糊等结构化误差的鲁棒性，改善 2D 到 3D 关节提升的性能。
• 实现端到端训练深度网络，使 SMPL 相关误差可通过 CNN 反向传播，从而提升关节点估计与体网格重建性能。
• 通过在合成动作捕捉数据上独立训练 SMPLR，实现跨数据集泛化，即使在真实世界 3D 标注数据有限的情况下亦可实现。

提出的方法

• 该方法使用体素堆叠沙漏网络（SHN）从 RGB 图像中预测 3D 关节位置和稀疏 3D 关键点，作为中间表示。
• 在 SHN 与 SMPLR 之间引入去噪自编码器（DAE），通过强制对称性、骨骼长度比例和人体一致几何结构，对 2D 或噪声 3D 关节预测进行优化。
• 将 DAE 输出送入一个双分支多层感知机（MLP）网络，从优化后的 3D 关节和关键点数据中回归 SMPL 姿态与形状参数。
• SMPL 模型作为可微解码器，从预测的 SMPL 参数生成完整的 3D 人体网格，支持端到端训练。
• 整个流程——SHN + DAE + MLP + SMPL——实现端到端训练，支持通过网络反向传播体网格与关节点误差。
• 该框架在合成动作捕捉数据上进行 SMPLR 训练，使其能够泛化至真实世界数据集（如 SURREAL 和 Human3.6M），且训练数据中无需真实 SMPL 参数监督。

实验结果

研究问题

• RQ1 是否可通过类似自编码器的深层结构反向使用 SMPL 模型，从而提升从单张 RGB 图像中重建 3D 人体的能力？
• RQ2 使用 3D 关节预测作为中间表示，是否能降低直接回归 SMPL 参数时生成不切实际体网格的风险？
• RQ3 去噪自编码器是否能有效恢复 2D 到 3D 关节提升中的结构化误差，特别是在遮挡或深度模糊条件下？
• RQ4 当在合成动作捕捉数据上训练并微调真实图像时，SMPLR 在跨数据集泛化方面能达到何种程度？
• RQ5 与不可微或弱监督替代方法相比，采用可微 SMPL 渲染的端到端训练是否能显著提升 3D 关节与体网格的精度？

主要发现

• 在 Human3.6M 数据集上，SMPLR 在协议 1 下将 3D 关节误差相比最先进基于 SMPL 的方法降低了 25mm，显著提升了精度。
• 在 SURREAL 数据集上，SMPLR 即使未采用多任务学习，也使 SMPL 表面误差降低了 3.5mm，优于先前最先进方法。
• DAE 模块有效消除了 2D 到 3D 关节提升中的结构化误差，提升了骨骼长度的一致性与预测姿态的对称性。
• 该方法在所有评估数据集上实现了超过 0.7 的轮廓交并比（IoU），且未显式训练该指标，表明体网格渲染质量极高。
• 最终端到端训练模型（{SHN}_{e2e}^{final}）在 SURREAL 上实现了 40.8mm 的最先进 3D 关节估计误差，与最佳性能方法相当，且无需多任务学习。
• 在 GTX 1080Ti 上推理速度达 3 FPS，使用估计图像裁剪而非真实标注裁剪时性能下降极小，表明对真实世界预处理误差具有强鲁棒性。