[论文解读] Unsupervised Eyeglasses Removal in the Wild

Bingwen Hu, Zhedong Zheng+3 more|arXiv (Cornell University)|Sep 16, 2019

Face recognition and analysis参考文献 65被引用 4

一句话总结

该论文提出了一种基于统一生成对抗网络（ERGAN）的无监督眼镜去除方法，可同时学习眼镜去除与生成，从而在真实世界中多样化的镜框类型和面部姿态下实现稳健性能。该方法在去除效果的逼真度与多样性方面达到当前最先进水平，同时提升了人脸验证与面部表情识别等下游任务的性能。

ABSTRACT

Eyeglasses removal is challenging in removing different kinds of eyeglasses, e.g., rimless glasses, full-rim glasses and sunglasses, and recovering appropriate eyes. Due to the large visual variants, the conventional methods lack scalability. Most existing works focus on the frontal face images in the controlled environment, such as the laboratory, and need to design specific systems for different eyeglass types. To address the limitation, we propose a unified eyeglass removal model called Eyeglasses Removal Generative Adversarial Network (ERGAN), which could handle different types of glasses in the wild. The proposed method does not depend on the dense annotation of eyeglasses location but benefits from the large-scale face images with weak annotations. Specifically, we study the two relevant tasks simultaneously, i.e., removing and wearing eyeglasses. Given two facial images with and without eyeglasses, the proposed model learns to swap the eye area in two faces. The generation mechanism focuses on the eye area and invades the difficulty of generating a new face. In the experiment, we show the proposed method achieves a competitive removal quality in terms of realism and diversity. Furthermore, we evaluate ERGAN on several subsequent tasks, such as face verification and facial expression recognition. The experiment shows that our method could serve as a pre-processing method for these tasks.

研究动机与目标

• 解决在非约束、真实世界环境中因面部姿态、光照条件和眼镜类型差异显著而带来的眼镜去除挑战。
• 克服现有方法依赖成对训练数据（同一人佩戴与不佩戴眼镜的图像）及正面人脸对齐的局限性。
• 开发一种可扩展的统一模型，无需为每类镜框单独设计系统，即可泛化于多种镜框类型（如无框、全框、太阳镜）之间。
• 通过双学习机制使模型同时执行眼镜去除与生成任务，增强特征学习与结果逼真度。
• 证明该方法作为预处理工具在人脸验证与面部表情识别等下游任务中的实用性。

提出的方法

• 提出一种统一的生成对抗网络（ERGAN），通过双学习框架联合学习眼镜去除与生成任务。
• 采用弱监督学习：仅需二值标签（有眼镜或无眼镜），无需精确边界框或成对图像。
• 在来自CelebA数据集的202,599张人脸图像上进行训练，分为有眼镜与无眼镜两组，实现大规模弱标注学习。
• 实施基于旋转的预处理步骤，将人脸以面部中心为基准进行对齐，避免复杂的关键点对齐，提升对姿态变化的鲁棒性。
• 采用循环一致性生成对抗网络架构，通过在有眼镜与无眼镜图像之间交换眼部区域，实现身份保持与逼真眼部区域生成。
• 聚焦生成器与判别器于眼部区域，提升局部细节保真度，降低全脸生成的复杂度。

实验结果

研究问题

• RQ1 是否能够通过统一的无监督GAN方法，在无需成对训练数据的情况下，有效去除真实世界中多样化的眼镜类型？
• RQ2 联合学习眼镜去除与生成任务相比单任务方法，能否显著提升生成结果的质量与逼真度？
• RQ3 所提方法在多大程度上改善了人脸验证与面部表情识别等下游人脸识别任务的性能？
• RQ4 该方法是否能在无需显式对齐或姿态归一化的情况下，泛化于不同面部姿态与眼镜外观？
• RQ5 在缺乏成对监督的情况下，双学习机制是否能增强特征学习与身份保持能力？

主要发现

• 所提出的ERGAN方法在逼真度与多样性方面实现了具有竞争力的去眼镜性能，优于先前的最先进方法。
• 在MeGlass数据集上，人脸验证准确率从佩戴眼镜时的73.65%提升至去眼镜后的78.59%，接近无眼镜图像的80.61%准确率。
• 去眼镜后，匹配人脸对之间的平均欧氏距离显著降低，表明身份保持更佳，遮挡干扰减少。
• 当佩戴眼镜时，面部表情识别准确率下降6.9%（73.65% vs. 无眼镜图像的80.61%），但去眼镜后提升至78.59%，显示出对表情识别的显著益处。
• 定性结果表明，佩戴眼镜的图像常被错误分类（如误判为愤怒或中性），而去眼镜后所有图像均被正确分类为快乐，体现了实际应用价值。
• 由于采用基于旋转的预处理，该方法对姿态变化具有鲁棒性，避免了复杂对齐操作，并在多种头部姿态下保持稳定性能。