[论文解读] Towards 3D Human Shape Recovery Under Clothing.

Xin Chen, Anqi Pang+8 more|arXiv (Cornell University)|Apr 4, 2019

3D Shape Modeling and Analysis参考文献 41被引用 4

一句话总结

TightCap 提出了一种数据驱动的方法，通过在全局 UV 纹理域中建模衣物贴身程度，从单个 3D 扫描中重建出详细的 3D 人体形状和穿着的衣物。通过使用增强的统计模板和多阶段对齐，该方法在多种姿势和衣物类别下实现了高保真度重建，其有效性通过一个全新的基准数据集（CTD）得到验证。

ABSTRACT

In this paper, we present TightCap, a data-driven scheme to capture both the human shape and dressed garments accurately with only a single 3D human scan, which enables numerous applications such as virtual try-on, biometrics and body evaluation. To break the severe variations of the human poses and garments, we propose to model the clothing tightness - the displacements from the garments to the human shape implicitly in the global UV texturing domain. To this end, we utilize an enhanced statistical human template and an effective multi-stage alignment scheme to map the 3D scan into a hybrid 2D geometry image. Based on this 2D representation, we propose a novel framework to predicted clothing tightness via a novel tightness formulation, as well as an effective optimization scheme to further reconstruct multi-layer human shape and garments under various clothing categories and human postures. We further propose a new clothing tightness dataset (CTD) of human scans with a large variety of clothing styles, poses and corresponding ground-truth human shapes to stimulate further research. Extensive experiments demonstrate the effectiveness of our TightCap to achieve high-quality human shape and dressed garments reconstruction, as well as the further applications for clothing segmentation, retargeting and animation.

研究动机与目标

• 解决从单个 3D 扫描中重建详细人体形状和衣物的挑战，尤其是在极端姿势和衣物变化下的情况。
• 克服在多种衣物类型和体位下对衣物贴身程度（定义为相对于身体表面的位移）进行建模的困难。
• 开发一种稳健的数据驱动框架，以实现多层衣物和底层人体形状的高质量 3D 重建。
• 提供一个全新的基准数据集（CTD），包含多样的人体姿势、衣物风格和真实形状，以支持未来在衣物遮挡下 3D 人体重建的研究。

提出的方法

• 利用增强的统计人体模板作为先验，以在重建过程中更准确地估计人体形状。
• 实施多阶段对齐方案，将 3D 扫描映射到混合 2D 几何图像中，以保持空间和几何保真度。
• 在全局 UV 纹理域中引入一种新颖的贴身程度公式，以隐式建模衣物相对于身体表面的位移。
• 设计专用的深度学习框架，从 2D 几何图像表示中预测衣物贴身程度。
• 应用有效的优化方案，以在各种衣物类别下细化多层人体形状和衣物的重建。
• 利用 2D 表示实现端到端学习与优化，从而在姿势和衣物变化下保持一致且详细的重建结果。

实验结果

研究问题

• RQ1 单个 3D 扫描能否被用于准确重建底层人体形状和完整的衣物质感几何？
• RQ2 如何在多种姿势和衣物类型下有效建模衣物贴身程度（定义为衣物相对于身体的空间位移）？
• RQ3 基于 UV 的全局参数化在多大程度上能提升 3D 人体形状和衣物重建的一致性与准确性？
• RQ4 与现有方法相比，该方法在不同衣物类别和人体姿势下的泛化能力如何？
• RQ5 一个包含真实形状和衣物配置的新型大规模 3D 扫描数据集，能否支持此类重建系统的更好训练与评估？

主要发现

• TightCap 即使在极端姿势和衣物变化下，也能从单个 3D 扫描中实现高质量的 3D 人体形状和穿着衣物的重建。
• 所提出的基于 UV 的贴身程度建模显著提升了重建精度，通过比局部或逐顶点方法更一致地捕捉衣物位移。
• 该方法能够实现准确的衣物分割、重定向和动画，展示了其在下游应用中的实际效用。
• 新构建的 CTD 数据集提供了全面的基准，包含多样的姿势、衣物风格和真实形状，支持未来在衣物遮挡下 3D 人体重建的研究。
• 大量实验证明，多阶段对齐与优化流程能有效保持复杂衣物的几何细节和结构一致性。
• 该框架在重建多层衣物以及在各种姿势和衣物类型下保持解剖学合理性方面，优于现有方法。