[论文解读] SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video

Boyi Jiang, Yang Hong+2 more|arXiv (Cornell University)|Jan 30, 2022

Advanced Vision and Imaging被引用 4

一句话总结

SelfRecon 提出了一种自监督方法，通过融合隐式神经表示与显式网格变形，从单目自旋转视频中实现高保真、时空一致的数字人像重建。它利用可微分神经渲染和一致性损失来优化几何结构，同时通过周期性网格更新保持拓扑一致性，实现了无需特定演员模板的最先进性能。

ABSTRACT

We propose SelfRecon, a clothed human body reconstruction method that combines implicit and explicit representations to recover space-time coherent geometries from a monocular self-rotating human video. Explicit methods require a predefined template mesh for a given sequence, while the template is hard to acquire for a specific subject. Meanwhile, the fixed topology limits the reconstruction accuracy and clothing types. Implicit representation supports arbitrary topology and can represent high-fidelity geometry shapes due to its continuous nature. However, it is difficult to integrate multi-frame information to produce a consistent registration sequence for downstream applications. We propose to combine the advantages of both representations. We utilize differential mask loss of the explicit mesh to obtain the coherent overall shape, while the details on the implicit surface are refined with the differentiable neural rendering. Meanwhile, the explicit mesh is updated periodically to adjust its topology changes, and a consistency loss is designed to match both representations. Compared with existing methods, SelfRecon can produce high-fidelity surfaces for arbitrary clothed humans with self-supervised optimization. Extensive experimental results demonstrate its effectiveness on real captured monocular videos. The source code is available at https://github.com/jby1993/SelfReconCode.

研究动机与目标

• 实现无需特定演员模板的单目自旋转视频高保真数字人像重建。
• 克服显式方法对固定拓扑模板的依赖，以及隐式方法缺乏时空一致性的局限。
• 通过自监督优化，实现任意着装人类的时空一致、拓扑一致的几何重建。
• 结合隐式表示（任意拓扑、高细节）与显式表示（一致性、与图形管线兼容性）的优势。

提出的方法

• SelfRecon 使用可学习的符号距离场（SDF）作为规范形状表示，而非固定模板网格。
• 应用前向变形场将规范点映射到当前帧空间，实现在时间上的稳定变形。
• 周期性地提取显式网格并使用变形场进行形变，通过差异化的掩码损失和平滑性约束进行优化。
• 基于图像重建损失、颜色和预测法线图，利用可微分神经渲染优化几何细节。
• 引入一致性损失，将隐式表面与显式网格对齐，确保几何保真度与一致性。
• 对法线损失应用自适应加权，以防止伪影并提升优化稳定性。

实验结果

研究问题

• RQ1 隐式与显式表示能否有效结合，以实现从单目视频中获得时空一致的3D重建？
• RQ2 如何设计自监督优化方法，以在无需预计算模板的情况下恢复高保真几何？
• RQ3 与反向变形相比，前向变形结合周期性网格更新是否能提升泛化能力并降低优化难度？
• RQ4 颜色、掩码和法线图损失在几何细节恢复与凹陷减少方面分别起到多大作用？
• RQ5 所生成的网格序列能否支持下游应用，如可驱动人像生成与姿态驱动渲染？

主要发现

• SelfRecon 在真实单目自旋转视频上实现了最先进重建质量，几何保真度与细节恢复优于现有方法。
• 消融研究显示，结合掩码、颜色与法线损失可显著减少凹陷并提升表面真实感，其中法线损失对消除不自然凹坑尤为关键。
• 该方法生成了时空一致的网格序列，拓扑保持一致，支持姿态驱动动画与纹理映射等下游应用。
• 神经渲染结果在视觉上接近输入图像，生成的人像可支持基于SMPL姿态参数的合理驱动。
• 法线损失中采用自适应权重可防止伪影并提升优化稳定性，尤其在低纹理区域表现更优。
• 尽管重建质量极高，优化过程仍计算成本高昂，表明未来需借助先验知识或更快渲染技术实现加速。