[论文解读] TetraTSDF: 3D human reconstruction from a single image with a tetrahedral outer shell

Hayato Onizuka, Zehra Hayirci+4 more|arXiv (Cornell University)|Apr 22, 2020

3D Shape Modeling and Analysis参考文献 43被引用 5

一句话总结

该论文提出TetraTSDF，一种基于人体特异性外层壳的四面体截断符号距离函数（TSDF）嵌入的紧凑且密集的3D人体体积分表示，实现了从单张RGB图像进行高分辨率3D重建。该方法采用一种新颖的部件连接网络（PCN）结合CNN进行端到端回归，实现了在松垮衣物、手指和鞋子等精细细节重建方面的最先进精度，定量与定性评估均优于先前方法，平均Chamfer距离约为0.5 cm。

ABSTRACT

Recovering the 3D shape of a person from its 2D appearance is ill-posed due to ambiguities. Nevertheless, with the help of convolutional neural networks (CNN) and prior knowledge on the 3D human body, it is possible to overcome such ambiguities to recover detailed 3D shapes of human bodies from single images. Current solutions, however, fail to reconstruct all the details of a person wearing loose clothes. This is because of either (a) huge memory requirement that cannot be maintained even on modern GPUs or (b) the compact 3D representation that cannot encode all the details. In this paper, we propose the tetrahedral outer shell volumetric truncated signed distance function (TetraTSDF) model for the human body, and its corresponding part connection network (PCN) for 3D human body shape regression. Our proposed model is compact, dense, accurate, and yet well suited for CNN-based regression task. Our proposed PCN allows us to learn the distribution of the TSDF in the tetrahedral volume from a single image in an end-to-end manner. Results show that our proposed method allows to reconstruct detailed shapes of humans wearing loose clothes from single RGB images.

研究动机与目标

• 为解决从单张RGB图像重建人体细节形状的挑战，特别是穿着松垮衣物时的重建问题。
• 克服现有基于CNN回归的体积分TSDF表示在内存与分辨率上的限制。
• 开发一种紧凑、密集且精确的3D表示，支持高分辨率细节恢复，同时适用于深度学习。
• 通过结合CNN与部件连接网络（PCN）的新架构，实现从单张图像端到端学习3D形状。
• 提升在非凸与遮挡区域（如手部、脚部及衣物褶皱）的重建精度。

提出的方法

• 提出基于粗略SMPL模型构建的四面体外层壳，作为TSDF场的几何骨架。
• 在外层壳的顶点处构建四面体体素网格，以嵌入截断符号距离函数（TSDF）场，实现密集且紧凑的3D表示。
• 引入一种部件连接网络（PCN），通过建模四面体顶点之间的局部几何关系，增强特征学习并提高回归精度。
• 设计一种端到端的CNN-PCN沙漏网络，直接从单张RGB图像回归TSDF场。
• 利用真实3D扫描生成高质量TSDF场用于训练，确保精确监督。
• 采用可微分渲染与优化流程，在训练过程中优化外层壳与TSDF场。

实验结果

研究问题

• RQ1 基于四面体的TSDF表示能否在保持内存效率的同时，实现从单张RGB图像的高分辨率人体3D重建？
• RQ2 基于PCN的架构能否有效建模四面体网格中的局部几何依赖关系，从而提升从CNN特征回归3D形状的性能？
• RQ3 所提出的方法在重建手指、鞋子及衣物褶皱等精细细节方面是否优于现有SOTA方法？
• RQ4 该方法如何处理松垮衣物中手部与脚部等遮挡或非凸区域的重建？
• RQ5 与位移映射或标准体素网格相比，紧凑的四面体表示在保留形状细节方面具有多大优势？

主要发现

• 在Articulated数据集上，该方法实现了约0.5 cm的平均Chamfer距离，优于现有方法如BodyNet与Tex2Shape。
• 定性结果表明，即使在手部姿态未知的情况下，仍能出色重建正确姿态的手指与脚部周围的鞋子。
• 该方法成功恢复了常在位移映射或低分辨率体素表示中丢失的遮挡区域与复杂衣物褶皱。
• 基于PCN的网络表现出更优的收敛性与精度，性能对连接数量敏感，表明内存与精度之间存在权衡。
• 四面体TSDF表示在保持内存效率的同时，实现了比先前方法更高的重建分辨率，避免了GPU显存溢出问题。
• 消融实验证实，与基线架构相比，PCN显著增强了特征学习与形状细节恢复能力。