[论文解读] TexMesh: Reconstructing Detailed Human Texture and Geometry from RGB-D Video

Tiancheng Zhi, Christoph Lassner+4 more|arXiv (Cornell University)|Aug 1, 2020

3D Shape Modeling and Analysis参考文献 60被引用 5

一句话总结

TexMesh 通过利用入射光照和时空先验的自监督框架，从 RGB-D 视频中重建出高保真度的人体网格与高分辨率的细节贴图。它通过联合优化纹理与网格，结合光度与形变约束，实现了最先进的自由视角渲染效果，在真实数据上经过短暂的自适应阶段后，运行速度达到 18 fps。

ABSTRACT

We present TexMesh, a novel approach to reconstruct detailed human meshes with high-resolution full-body texture from RGB-D video. TexMesh enables high quality free-viewpoint rendering of humans. Given the RGB frames, the captured environment map, and the coarse per-frame human mesh from RGB-D tracking, our method reconstructs spatiotemporally consistent and detailed per-frame meshes along with a high-resolution albedo texture. By using the incident illumination we are able to accurately estimate local surface geometry and albedo, which allows us to further use photometric constraints to adapt a synthetically trained model to real-world sequences in a self-supervised manner for detailed surface geometry and high-resolution texture estimation. In practice, we train our models on a short example sequence for self-adaptation and the model runs at interactive framerate afterwards. We validate TexMesh on synthetic and real-world data, and show it outperforms the state of art quantitatively and qualitatively.

研究动机与目标

• 从单个 RGB-D 视频序列中实现高质量的自由视角人体渲染。
• 解决现有方法在几何重建中产生幻觉或在纹理中引入固定阴影的问题。
• 即使在遮挡区域，也能利用真实世界数据重建出细节丰富且时空一致的网格与反照率纹理。
• 通过自适应微调合成训练的模型，实现从模拟到真实世界的迁移，无需人工标注。
• 利用光度与时间先验，生成感知上清晰的纹理与精细的几何细节，如衣物褶皱。

提出的方法

• 利用入射光照与环境图估计局部表面几何与反照率，从而实现精确的光度约束。
• 采用基于 CNN 的纹理生成流水线，包括反照率估计、关键帧选择，以及使用带有 InstanceNorm 和 ReLU 的 U-Net 类架构进行优化。
• 在合成数据上使用监督方式预训练位移图预测模型，随后在真实序列上使用光度感知损失与时空形变先验进行微调。
• 应用自监督优化方案，最小化渲染图像与输入图像之间的光度误差，同时强制实现时间平滑性与几何一致性。
• 使用 VGG 特征计算感知损失，并采用自适应鲁棒损失以提升纹理保真度并减少伪影。
• 将基于 SMPL 的粗略网格映射到自定义人体模型，以实现与 DeepHuman 和 HMD 等现有重建流水线的兼容性。

实验结果

研究问题

• RQ1 自监督框架能否有效将合成训练的模型适配到真实世界的 RGB-D 序列，以实现高质量的人体网格与纹理重建？
• RQ2 如何利用入射光照提升反照率估计精度，并减少纹理生成中的阴影伪影？
• RQ3 时空形变先验是否能够实现对遮挡区域中精细几何细节（如衣物褶皱）的准确重建？
• RQ4 与忽略光照或几何错位的方法相比，光度损失与感知损失在提升纹理清晰度与减少模糊方面能带来多大改善？
• RQ5 该方法是否能在经过短暂适应阶段后实现实时性能（18 fps），且无需大量真实世界监督？

主要发现

• TexMesh 在定性与定量指标上均优于最先进的方法（如 Tex2Shape 与 TNA），生成的纹理更清晰，且烘焙阴影更少。
• 在自适应后，模型推理速度达到 18 fps，实现了对细节丰富的人体虚拟形象的实时自由视角渲染。
• 通过利用入射光照与光度约束，TexMesh 减少了因几何错位导致的纹理模糊，从而生成更清晰的反照率图。
• 在短时真实序列上的自监督微调使模型能够泛化至复杂动态衣物形变与遮挡区域。
• 感知损失与时空损失的结合，使帧间网格形变更一致、更逼真，即使在不可见区域亦然。
• 定性结果表明，无论在合成数据还是真实数据上，纹理对比度更高、清晰度更优，伪影极少，且无可见的阴影混合现象。