[论文解读] SketchHairSalon: Deep Sketch-based Hair Image Synthesis

Chufeng Xiao, Yu Deng+3 more|arXiv (Cornell University)|Sep 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 5

一句话总结

SketchHairSalon 提出了一种两阶段深度学习框架，可直接从手绘彩色草图生成逼真的头发图像，无需使用二值掩码或方向图。通过利用自注意力机制并引入一个新的草图-遮罩-图像三元组数据集，该方法在复杂头发结构和柔和边界方面的生成效果优于现有方法，在定性和定量评估中均表现更优。

ABSTRACT

Recent deep generative models allow real-time generation of hair images from sketch inputs. Existing solutions often require a user-provided binary mask to specify a target hair shape. This not only costs users extra labor but also fails to capture complicated hair boundaries. Those solutions usually encode hair structures via orientation maps, which, however, are not very effective to encode complex structures. We observe that colored hair sketches already implicitly define target hair shapes as well as hair appearance and are more flexible to depict hair structures than orientation maps. Based on these observations, we present SketchHairSalon, a two-stage framework for generating realistic hair images directly from freehand sketches depicting desired hair structure and appearance. At the first stage, we train a network to predict a hair matte from an input hair sketch, with an optional set of non-hair strokes. At the second stage, another network is trained to synthesize the structure and appearance of hair images from the input sketch and the generated matte. To make the networks in the two stages aware of long-term dependency of strokes, we apply self-attention modules to them. To train these networks, we present a new dataset containing thousands of annotated hair sketch-image pairs and corresponding hair mattes. Two efficient methods for sketch completion are proposed to automatically complete repetitive braided parts and hair strokes, respectively, thus reducing the workload of users. Based on the trained networks and the two sketch completion strategies, we build an intuitive interface to allow even novice users to design visually pleasing hair images exhibiting various hair structures and appearance via freehand sketches. The qualitative and quantitative evaluations show the advantages of the proposed system over the existing or alternative solutions.

研究动机与目标

• 消除草图驱动头发图像生成中对用户提供的二值掩码的需求，以避免繁琐的人工标注并改善柔软头发边界的限制。
• 通过直接使用彩色草图作为输入，而非方向图，提升对复杂发丝结构（如波浪形、编发或遮挡的发丝）的建模能力。
• 开发一种系统，使初学者能够通过简单直观的手绘草图，以最少的努力生成多样且逼真的发型。
• 通过在网络的两个阶段中集成自注意力模块，解决发丝之间长距离依赖关系的问题。
• 发布一个包含1,000多个标注的头发草图-图像配对及其对应头发遮罩的新数据集，以支持未来研究。

提出的方法

• 采用两阶段框架：首先，草图到遮罩网络从彩色草图（可包含非头发笔画）生成柔和的头发遮罩，从而减少对头发区域定义的歧义。
• 其次，草图到图像网络利用输入草图和生成的遮罩，合成逼真的头发图像，其中颜色笔画控制局部外观。
• 在两个网络中均集成自注意力模块，以建模发丝之间的长距离依赖关系，提升整体连贯性与遮挡关系的建模能力。
• 提出两种草图自动补全策略：一种用于补全重复的编发图案，另一种用于补全缺失的发丝段，从而减轻用户输入负担。
• 构建了一个包含1,000多个草图-遮罩-图像三元组的新数据集，并对头发结构与外观进行人工标注。
• 采用对抗性损失和感知损失进行端到端训练，以确保图像的高保真度与结构一致性。

实验结果

研究问题

• RQ1 仅凭手绘彩色草图是否能有效传达头发的结构、外观与形状，而无需依赖二值掩码或方向图？
• RQ2 深度神经网络如何建模发丝之间的长距离依赖关系，以保持发丝连贯性与遮挡关系的合理性？
• RQ3 与标准卷积层相比，自注意力机制是否能显著提升对复杂头发结构的生成效果？
• RQ4 草图自动补全机制在多大程度上可减少用户工作量，同时保持图像质量？
• RQ5 与现有草图驱动头发生成方法相比，所提方法在定量与定性指标上表现如何？

主要发现

• 所提方法在定性和定量评估中均显著优于现有草图驱动头发生成方法，尤其在存在遮挡与多层发丝的复杂发型上表现更优。
• 消融实验表明，若移除自注意力模块，结果将变得粗糙且不连贯，发丝连贯性差且遮挡关系错误，证明其必要性。
• 将非头发笔画作为条件输入可提升遮罩生成的准确性，尤其在存在重叠特征的复杂场景中表现更佳。
• 草图自动补全机制能有效减少用户输入负担，尤其在处理如编发或长笔画等重复性图案时效果显著。
• 在所提数据集上的定量结果表明，完整模型在所有对比基线中取得了最高的FID与LPIPS分数，表明其图像质量与真实感更优。
• 该系统成功生成了更贴近真实头发向背景自然扩散的柔和边界，优于基于二值掩码的方法。