[论文解读] On Face Segmentation, Face Swapping, and Face Perception

Yuval Nirkin, Iacopo Masi+3 more|arXiv (Cornell University)|Apr 22, 2017

Face recognition and analysis参考文献 42被引用 13

一句话总结

本文提出了一种基于标准全卷积网络（FCN）进行人脸分割的鲁棒人脸替换方法，训练数据集为经过丰富增强的人脸分割数据。结果表明，同人种间的人脸替换可保持身份识别准确率（准确率为97.12%，nAUC为99.53%），而跨人种间替换则降低识别性能——首次在机器视觉中对感知理论进行了定量验证。

ABSTRACT

We show that even when face images are unconstrained and arbitrarily paired, face swapping between them is actually quite simple. To this end, we make the following contributions. (a) Instead of tailoring systems for face segmentation, as others previously proposed, we show that a standard fully convolutional network (FCN) can achieve remarkably fast and accurate segmentations, provided that it is trained on a rich enough example set. For this purpose, we describe novel data collection and generation routines which provide challenging segmented face examples. (b) We use our segmentations to enable robust face swapping under unprecedented conditions. (c) Unlike previous work, our swapping is robust enough to allow for extensive quantitative tests. To this end, we use the Labeled Faces in the Wild (LFW) benchmark and measure the effect of intra- and inter-subject face swapping on recognition. We show that our intra-subject swapped faces remain as recognizable as their sources, testifying to the effectiveness of our method. In line with well known perceptual studies, we show that better face swapping produces less recognizable inter-subject results. This is the first time this effect was quantitatively demonstrated for machine vision systems.

研究动机与目标

• 开发一种鲁棒、通用的人脸替换流水线，适用于非受限、任意图像配对场景。
• 证明当在丰富多样的数据上进行训练时，标准FCN可超越专用分割模型。
• 定量评估人脸替换对机器人脸识别的影响，特别是同人种与跨人种替换的影响。
• 利用机器视觉基准验证感知现象——即更优的融合可降低可识别性。
• 提供可复现的开源人脸替换流水线，并配备全面的定量评估协议。

提出的方法

• 采用半监督标注方法，利用运动线索与3D数据增强生成大规模、多样化的面部分割掩码数据集。
• 在该丰富数据集上训练标准全卷积网络（FCN），实现快速且精确的像素级人脸分割。
• 人脸替换流水线整合了改进的分割结果与鲁棒的对齐和融合技术，利用估计或通用的3D人脸形状以提升真实感。
• 系统在非受限图像上执行人脸替换，包括极端视角与表情变化，且无需对输入图像对进行预先控制。
• 使用LFW基准进行定量评估，采用两种协议：一种用于同人种替换（相同身份），一种用于跨人种替换（不同身份）。
• 通过100%-EER、准确率与nAUC评估人脸识别性能，以衡量替换对身份保持的影响。

实验结果

研究问题

• RQ1 当在丰富多样的人脸分割数据集上进行训练时，标准FCN能否实现最先进的人脸分割准确率与速度？
• RQ2 在非受限、任意配对的图像间进行人脸替换时，是否能保持主体身份，如通过人脸识别性能所衡量？
• RQ3 人脸替换中改进的融合技术在多大程度上降低了源人脸的可识别性，且该效果能否被定量测量？
• RQ4 与使用通用或无3D建模相比，使用估计的3D人脸形状在融合质量与识别影响方面表现如何？
• RQ5 感知现象——即更优融合导致可识别性降低——是否可在机器视觉系统中被定量观测到？

主要发现

• 所提出的基于FCN的分割方法在准确率与速度上均达到最先进水平，得益于丰富的训练数据，优于专用模型。
• 同人种人脸替换仅导致识别准确率下降1%（97.12% vs. 基线98.12%），表明身份失真极小。
• 跨人种人脸替换显著降低识别性能，100%-EER下降至64.58%（基线为98.10%），证实更优融合导致可识别性降低。
• 使用估计的3D人脸形状可提升融合质量，使跨人种替换的100%-EER降至73.17%，表明身份混淆更强。
• 该方法首次在机器视觉中实现了对Clinton–Gore错觉的大规模定量验证，表明更优的人脸替换会导致更难识别的人脸。
• 上下文特征在替换后仍具信息量，如‘上下文保持’协议中识别准确率更高，表明上下文与人脸共同贡献于身份识别。