[论文解读] r-BTN: Cross-domain Face Composite and Synthesis from Limited Facial Patches

Yang Song, Zhifei Zhang+1 more|arXiv (Cornell University)|Jun 2, 2017

Face recognition and analysis参考文献 33被引用 4

一句话总结

该论文提出r-BTN，一种递归双向转换网络，通过在人脸与素描域之间迭代地进行前向和后向域转换，从有限的面部区域（即使缺失高达95%的区域）中生成高保真、逼真的面部图像或素描，相比现有方法在一致性和模糊性方面表现更优。

ABSTRACT

We start by asking an interesting yet challenging question, "If an eyewitness can only recall the eye features of the suspect, such that the forensic artist can only produce a sketch of the eyes (e.g., the top-left sketch shown in Fig. 1), can advanced computer vision techniques help generate the whole face image?" A more generalized question is that if a large proportion (e.g., more than 50%) of the face/sketch is missing, can a realistic whole face sketch/image still be estimated. Existing face completion and generation methods either do not conduct domain transfer learning or can not handle large missing area. For example, the inpainting approach tends to blur the generated region when the missing area is large (i.e., more than 50%). In this paper, we exploit the potential of deep learning networks in filling large missing region (e.g., as high as 95% missing) and generating realistic faces with high-fidelity in cross domains. We propose the recursive generation by bidirectional transformation networks (r-BTN) that recursively generates a whole face/sketch from a small sketch/face patch. The large missing area and the cross domain challenge make it difficult to generate satisfactory results using a unidirectional cross-domain learning structure. On the other hand, a forward and backward bidirectional learning between the face and sketch domains would enable recursive estimation of the missing region in an incremental manner (Fig. 1) and yield appealing results. r-BTN also adopts an adversarial constraint to encourage the generation of realistic faces/sketches. Extensive experiments have been conducted to demonstrate the superior performance from r-BTN as compared to existing potential solutions.

研究动机与目标

• 解决从具有大范围缺失区域（高达95%）和显著域差异（如人脸到素描）的微小面部区域生成逼真、高保真人脸图像的挑战。
• 克服现有方法（如基于补丁的匹配和图像修复）在大面积缺失区域下因模糊和一致性差而产生的局限性。
• 通过利用人脸与素描流形之间的双向转换，提升人脸/素描合成中的跨域一致性与照片真实感。
• 通过生成性、一致的方式融合来自不同域和个体的多个补丁，实现鲁棒的人脸合成。

提出的方法

• 提出一种基于双向转换网络（BTN）的递归生成框架，通过在人脸与素描域之间交替映射，迭代优化重建图像。
• 引入前向与后向误差最小化，以稳定递归优化过程，并确保收敛至逼真、高保真的输出。
• 在人脸到素描和素描到人脸的网络中均采用对抗性训练，以增强生成图像的照片真实感与感知质量。
• 使用预训练的VGG-Face网络提取高层特征，用于评估不同补丁生成人脸之间的相似性与多样性。
• 采用迭代优化：在每一步中，将当前重建结果在两个域之间正向与反向映射，逐步减少残差误差。
• 利用人脸与素描域的流形结构，假设真实图像位于低维流形上，以引导递归生成过程趋向真实解。

实验结果

研究问题

• RQ1 深度学习模型能否从极小的面部区域（如仅5%可见）中生成逼真、高保真的面部图像，即使缺失高达95%的区域？
• RQ2 在大面积缺失区域下，人脸与素描域之间的双向域转换如何提升图像生成的一致性并减少模糊？
• RQ3 通过前向与后向误差最小化实现的递归优化在多大程度上能稳定生成过程并提升收敛性？
• RQ4 当从同一人或不同个体的补丁生成人脸时，该方法在保留身份一致性（类内相似性）和多样性（类间差异）方面表现如何？
• RQ5 在极端缺失区域下，r-BTN与pix2pix及基于图像修复的方法相比，在保真度、真实感和鲁棒性方面表现如何？

主要发现

• r-BTN在约20次迭代后实现稳定收敛，平均残差趋近于零，平均绝对残差稳定在较小值，表明生成过程具有一致性与可靠性。
• 即使在95%图像缺失的情况下，该方法仍显著减少了生成图像的模糊性，在视觉质量与保真度方面优于pix2pix和图像修复基线方法。
• 来自同一人（如左眼、右眼）补丁生成的人脸表现出高类内相似性，而来自不同个体的生成结果则展现出强烈的类间多样性，尤其在缺失率≤60%时更为明显。
• 同一人眼睛补丁生成的人脸之间相似性高于来自鼻部或嘴部补丁的生成结果，反映出该方法能有效保留身份线索。
• 在95%缺失率下，相似性与多样性曲线相交，表明身份保留能力下降，提示使用极小补丁进行可靠生成存在实际限制。
• 对抗性约束有效提升了照片真实感，且双向学习机制相比单向方法能更准确地恢复几何结构。