[论文解读] Towards Automatic Image Editing: Learning to See another You

Amir Ghodrati, Xu Jia+2 more|Lirias (KU Leuven)|Nov 26, 2015

Face recognition and analysis参考文献 24被引用 9

一句话总结

本文提出了一种两阶段卷积编码器-解码器网络，可在保持身份和外观不变的前提下，生成具有特定属性变化（例如姿态、眼镜、帽子）的人脸图像。该方法将目标属性编码，并在特征图层面与图像特征融合，实现了高质量、身份保持的图像编辑，并在人脸检索任务中表现出色。

ABSTRACT

Learning the distribution of images in order to generate new samples is a challenging task due to the high dimensionality of the data and the highly non-linear relations that are involved. Nevertheless, some promising results have been reported in the literature recently,building on deep network architectures. In this work, we zoom in on a specific type of image generation: given an image and knowing the category of objects it belongs to (e.g. faces), our goal is to generate a similar and plausible image, but with some altered attributes. This is particularly challenging, as the model needs to learn to disentangle the effect of each attribute and to apply a desired attribute change to a given input image, while keeping the other attributes and overall object appearance intact. To this end, we learn a convolutional network, where the desired attribute information is encoded then merged with the encoded image at feature map level. We show promising results, both qualitatively as well as quantitatively, in the context of a retrieval experiment, on two face datasets (MultiPie and CAS-PEAL-R1).

研究动机与目标

• 解决在保持身份和外观不变的前提下，生成具有特定属性修改的逼真人脸图像的挑战。
• 开发一种方法，将属性影响解耦并精确应用于输入图像，无需人工干预。
• 实现自动图像编辑，适用于人脸重光照、配饰添加/移除和图像补全等应用。
• 在人脸检索设置中评估该方法，使用生成的图像作为查询，检索具有属性变化的相似人脸。
• 展示两阶段优化策略在提升图像质量和减少伪影方面的有效性。

提出的方法

• 采用两阶段编码器-解码器框架：第一阶段生成修改后人脸的全局表征，第二阶段通过细化局部细节来减少伪影。
• 将属性信息编码为向量，并将其投影到与图像特征图兼容的特征图中，实现在特征层面的融合。
• 使用可学习模块在特征图层面融合编码后的图像表征与属性表征，再进行反卷积操作。
• 网络采用全局-局部训练策略，第一阶段聚焦于身份和结构，第二阶段聚焦于纹理和细节。
• 在遮挡补全任务中使用平均绝对误差（MAE）进行训练，以提高对缺失区域不确定性的鲁棒性。
• 模型在裁剪并对齐的人脸数据集（MultiPIE 和 CAS-PEAL-R1）上进行训练，包含姿态、光照和配饰等系统性属性变化。

实验结果

研究问题

• RQ1 深度学习模型能否在保持身份和外观不变的前提下，生成具有特定属性变化的逼真人脸图像？
• RQ2 通过在特征图层面融合属性嵌入与图像特征，能否有效实现特定属性的编辑？
• RQ3 与单阶段方法相比，两阶段优化策略是否能显著提升生成人脸图像的质量和真实感？
• RQ4 生成的图像能否作为有效查询，在人脸检索任务中用于查找具有属性变化的相似人脸？
• RQ5 该方法在图像补全等具有挑战性的任务中表现如何，尤其是在面部区域被遮挡的情况下？

主要发现

• 所提方法能生成高质量的人脸图像，准确实现如姿态变化、戴眼镜和戴帽子等属性修改，同时保持身份和面部结构不变。
• 第二阶段的优化显著提升了图像质量，减少了模糊和伪影，尤其在帽子替换等复杂属性变化中效果明显。
• 在MultiPIE数据集上，当使用生成图像作为查询时，该方法的检索性能与最先进方法相当。
• 在身份保持方面，该方法优于基线模型，与[27]的定性对比显示，其在不同条件下能生成更清晰、更逼真的面部图像。
• 在图像补全任务中使用MAE损失，相比MSE，能更一致且真实地重建被遮挡的面部区域。
• 该模型在多种属性组合下具有良好的泛化能力，包括同时去除帽子并添加眼镜等操作，展示了属性的稳健解耦能力。