[论文解读] Single-View Hair Reconstruction using Convolutional Neural Networks

Yi Zhou, Liwen Hu+5 more|arXiv (Cornell University)|Jun 19, 2018

Advanced Vision and Imaging被引用 3

一句话总结

本文提出了一种基于深度学习的实时单目3D秀发重建方法，采用卷积神经网络，以2D方向场为输入，生成30K个分布均匀的秀发丝，并实现逼真的碰撞与可见性建模。该方法实现了紧凑、连续的发型表示及其插值，相比先前方法提速1000倍，同时通过合成到真实的域适应技术，实现了对真实互联网图像的泛化能力。

ABSTRACT

We introduce a deep learning-based method to generate full 3D hair geometry from an unconstrained image. Our method can recover local strand details and has real-time performance. State-of-the-art hair modeling techniques rely on large hairstyle collections for nearest neighbor retrieval and then perform ad-hoc refinement. Our deep learning approach, in contrast, is highly efficient in storage and can run 1000 times faster while generating hair with 30K strands. The convolutional neural network takes the 2D orientation field of a hair image as input and generates strand features that are evenly distributed on the parameterized 2D scalp. We introduce a collision loss to synthesize more plausible hairstyles, and the visibility of each strand is also used as a weight term to improve the reconstruction accuracy. The encoder-decoder architecture of our network naturally provides a compact and continuous representation for hairstyles, which allows us to interpolate naturally between hairstyles. We use a large set of rendered synthetic hair models to train our network. Our method scales to real images because an intermediate 2D orientation field, automatically calculated from the real image, factors out the difference between synthetic and real hairs. We demonstrate the effectiveness and robustness of our method on a wide range of challenging real Internet pictures and show reconstructed hair sequences from videos.

研究动机与目标

• 解决现有先进秀发建模技术效率低下且存储需求高的问题，这些技术依赖于大型发型集合和最近邻检索。
• 实现在无约束单张图像上实时重建3D秀发，具备高几何保真度和局部发丝细节。
• 开发一种紧凑且连续的发型表示方法，支持不同发型之间的自然插值。
• 通过中间2D方向场，弥合合成训练数据与真实图像之间的域差距。

提出的方法

• 采用类似U-Net的编码器-解码器CNN架构，处理秀发图像的2D方向场，以预测参数化2D头皮上的发丝特征。
• 网络引入碰撞损失，以确保物理上合理的发丝分布并减少交叉。
• 通过权重项建模每根发丝的可见性，以提升重建精度，突出可见区域。
• 采用大规模渲染的合成秀发模型数据集进行端到端训练，实现对真实图像的泛化能力。
• 从真实图像中自动提取中间2D方向场，以消除合成与真实秀发外观之间的差异。
• 编码器生成的连续紧凑表征支持对学习到的发型进行自然插值。

实验结果

研究问题

• RQ1 深度学习模型能否在实时条件下，从单张无约束图像中重建出包含30K根发丝的详细3D秀发几何结构？
• RQ2 神经网络如何学习一种紧凑且连续的发型表征，以实现自然的插值？
• RQ3 哪些损失函数在合成逼真发丝配置、实现真实碰撞与可见性方面最为有效？
• RQ4 在未进行微调的情况下，基于合成数据训练的模型在真实世界图像上的泛化能力有多强？
• RQ5 使用中间2D方向场在多大程度上提升了从合成数据到真实秀发图像的域泛化能力？

主要发现

• 该方法实现了实时性能，运行速度比最先进的基于检索的方法快1000倍，同时生成30K根发丝。
• 引入碰撞损失显著提升了重建发型的合理性，减少了发丝交叉。
• 基于可见性的加权机制通过聚焦于人眼感知可见的区域，提升了重建精度。
• 模型对来自互联网的多样化真实世界图像具有强鲁棒性，包括具有挑战性的光照与姿态变化。
• 学习到的潜在空间支持在不同发型之间实现平滑自然的插值，证明了其连续且有意义的表征能力。
• 使用中间2D方向场实现了有效的域自适应，使模型能够在不重新训练的情况下，从合成训练数据泛化到真实图像。