[论文解读] TightCap: 3D Human Shape Capture with Clothing Tightness

Xin Chen, Anqi Pang+3 more|arXiv (Cornell University)|Apr 4, 2019

3D Shape Modeling and Analysis参考文献 78被引用 5

一句话总结

TightCap 提出了一种数据驱动的方法，通过在全局 UV 纹理域中建模衣物贴身程度，从单个 3D 扫描中重建出详细的 3D 人体形状和着装衣物。该方法使用增强的统计模板和多阶段对齐，生成混合 2D 几何图像，从而在多种姿势和衣物类别下实现高精度重建，并引入了一个新的基准数据集（CTD）。

ABSTRACT

In this paper, we present TightCap, a data-driven scheme to capture both the human shape and dressed garments accurately with only a single 3D human scan, which enables numerous applications such as virtual try-on, biometrics and body evaluation. To break the severe variations of the human poses and garments, we propose to model the clothing tightness - the displacements from the garments to the human shape implicitly in the global UV texturing domain. To this end, we utilize an enhanced statistical human template and an effective multi-stage alignment scheme to map the 3D scan into a hybrid 2D geometry image. Based on this 2D representation, we propose a novel framework to predicted clothing tightness via a novel tightness formulation, as well as an effective optimization scheme to further reconstruct multi-layer human shape and garments under various clothing categories and human postures. We further propose a new clothing tightness dataset (CTD) of human scans with a large variety of clothing styles, poses and corresponding ground-truth human shapes to stimulate further research. Extensive experiments demonstrate the effectiveness of our TightCap to achieve high-quality human shape and dressed garments reconstruction, as well as the further applications for clothing segmentation, retargeting and animation.

研究动机与目标

• 解决在存在大幅姿势和衣物变化的情况下，从单个 3D 扫描中准确重建人体形状和衣物的挑战。
• 在全局 UV 参数化域中隐式建模衣物贴身程度——即从身体到衣物的位移——以提升重建保真度。
• 开发一种多阶段对齐框架，将 3D 扫描映射到混合 2D 几何图像中，以实现有效的贴身程度预测与形状重建。
• 创建一个大规模的新基准数据集（CTD），包含多样化的衣物风格、姿势和真实人体形状，以支持未来研究。
• 通过高质量重建，支持下游应用如衣物分割、重定向和动画。

提出的方法

• 增强统计人体模板，以更好地表示多样的体型，并作为对齐和贴身程度建模的参考。
• 实施多阶段对齐方案，将 3D 扫描映射到混合 2D 几何图像中，以保留几何和拓扑细节。
• 提出一种新颖的贴身程度公式，隐式地在 UV 参数化域中建模衣物相对于身体的位移。
• 设计一种优化方案，以在不同衣物类别和姿势下重建多层人体形状与衣物。
• 利用 2D 几何图像表示，通过深度学习实现高效且准确的衣物贴身程度预测。
• 将贴身程度预测与优化整合到统一框架中，实现端到端的重建。

实验结果

研究问题

• RQ1 是否能在全局 UV 参数化中有效建模衣物贴身程度，以提升从单个扫描中重建 3D 人体与衣物的性能？
• RQ2 所提出的多阶段对齐与混合 2D 几何图像表示在不同姿势和衣物类型下如何提升重建精度？
• RQ3 新 CTD 数据集在支持贴身程度感知重建模型的训练与评估方面能发挥多大作用？
• RQ4 该框架在多种衣物类别和复杂姿势下是否具备泛化能力，同时保持精细的几何细节？
• RQ5 该方法在衣物分割、重定向和动画等下游任务中的表现如何？

主要发现

• TightCap 即使在极端姿势和衣物变化下，也能从单个 3D 扫描中实现高质量的 3D 人体形状与着装衣物重建。
• 所提出的 UV 域贴身程度公式相比未显式建模衣物位移的基线方法，显著提升了重建精度。
• 多阶段对齐与混合 2D 几何图像表示能有效保留几何细节，并实现鲁棒的贴身程度预测。
• 新 CTD 数据集为评估衣物贴身程度与重建性能提供了多样化且大规模的基准。
• 该方法可实现准确的下游应用，如衣物分割、重定向与动画，展现出其实际应用价值。
• 大量实验证明了优化方案在重建多层衣物与复杂人体形状方面的有效性。