[论文解读] Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs

Adrian Bulat, Georgios Tzimiropoulos|arXiv (Cornell University)|Dec 7, 2017

Face recognition and analysis被引用 4

一句话总结

本文提出 Super-FAN，这是首个基于 GAN 的端到端框架，能够联合对任意姿态的真实世界低分辨率人脸图像进行面部超分辨率和关键点定位。通过将热力图回归子网络与一种新颖的热力图损失整合到基于残差的超分辨率架构中，Super-FAN 在两项任务中均实现了最先进性能，在真实世界数据（包括侧脸和遮挡人脸）上生成了清晰、细节丰富的结果。

ABSTRACT

This paper addresses 2 challenging tasks: improving the quality of low resolution facial images and accurately locating the facial landmarks on such poor resolution images. To this end, we make the following 5 contributions: (a) we propose Super-FAN: the very first end-to-end system that addresses both tasks simultaneously, i.e. both improves face resolution and detects the facial landmarks. The novelty or Super-FAN lies in incorporating structural information in a GAN-based super-resolution algorithm via integrating a sub-network for face alignment through heatmap regression and optimizing a novel heatmap loss. (b) We illustrate the benefit of training the two networks jointly by reporting good results not only on frontal images (as in prior work) but on the whole spectrum of facial poses, and not only on synthetic low resolution images (as in prior work) but also on real-world images. (c) We improve upon the state-of-the-art in face super-resolution by proposing a new residual-based architecture. (d) Quantitatively, we show large improvement over the state-of-the-art for both face super-resolution and alignment. (e) Qualitatively, we show for the first time good results on real-world low resolution images.

研究动机与目标

• 解决在各种面部姿态下提升非常低分辨率真实世界人脸图像质量并准确进行关键点定位的挑战。
• 克服先前方法依赖合成数据或正面、预对齐人脸的局限性。
• 通过联合优化关键点检测与图像重建，将面部结构信息融入超分辨率过程。
• 证明联合训练超分辨率与人脸对齐可显著提升两项任务的性能。

提出的方法

• Super-FAN 采用基于残差结构的 GAN 超分辨率网络，以增强低分辨率人脸图像。
• 一个专用子网络执行热力图回归，用于面部关键点定位，提供结构化监督。
• 提出一种新颖的热力图损失，利用预测的关键点热力图指导超分辨率网络。
• 使用感知损失、像素级 L1 损失以及新颖的热力图损失组合，对模型进行端到端训练。
• 数据增强包括随机高斯模糊、JPEG 伪影和色彩失真，以提升在真实世界图像上的鲁棒性。
• 该框架联合优化超分辨率与关键点检测，实现相互性能提升。

实验结果

研究问题

• RQ1 在任意姿态的非常低分辨率真实世界人脸图像上，联合学习面部超分辨率与关键点定位是否能提升性能？
• RQ2 通过热力图监督引入面部结构信息，是否能提升超分辨率质量与关键点定位准确性？
• RQ3 与仅在合成数据或正面图像上训练的最先进方法相比，该方法在真实世界数据上的表现如何？
• RQ4 与标准损失相比，新颖的热力图损失在提升对齐与图像重建方面有多大的改进？
• RQ5 该模型在无约束环境下对极端姿态、遮挡和严重模糊情况是否具备泛化能力？

主要发现

• 在 LS3D-W 数据集上，对于姿态 >60° 的人脸，Super-FAN 的 AUC 达到 67.0%，显著优于先前方法。
• 在真实世界 WiderFace 图像上，Super-FAN 生成的图像比 SR-GAN 和 CBN 更清晰、细节更丰富，尤其在困难条件下表现更优。
• 与仅使用像素损失和特征损失的基线相比，加入热力图损失后，关键点定位 AUC 提升了 5.5 个百分点。
• 即使在人工下采样图像上进行训练，经过数据增强后，Super-FAN 在真实世界数据上的表现仍优于微调后的 FAN 模型和双线性基线。
• 在 LS3D-W 数据集上，对于姿态 >60° 的人脸，模型的 PSNR 达到 20.85，表明在姿态变化下仍具备强大性能。
• 失败案例主要源于极端姿态、遮挡和严重模糊，表明在应对此类失真方面仍有提升空间。