[论文解读] SuperFront: From Low-resolution to High-resolution Frontal Face Synthesis

Yu Yin, Joseph P. Robinson+4 more|arXiv (Cornell University)|Dec 7, 2020

Face recognition and analysis参考文献 40被引用 4

一句话总结

SuperFront 提出一种基于 GAN 的模型（SF-GAN），通过集成超分辨率侧视模块和局部块损失，从低分辨率、极端姿态的人脸图像中合成高分辨率、身份保持的正面人脸。该方法独特地支持单对多输入融合，并引入正交正则化，实现了在身份保持和图像质量方面的最先进性能。

ABSTRACT

Advances in face rotation, along with other face-based generative tasks, are more frequent as we advance further in topics of deep learning. Even as impressive milestones are achieved in synthesizing faces, the importance of preserving identity is needed in practice and should not be overlooked. Also, the difficulty should not be more for data with obscured faces, heavier poses, and lower quality. Existing methods tend to focus on samples with variation in pose, but with the assumption data is high in quality. We propose a generative adversarial network (GAN) -based model to generate high-quality, identity preserving frontal faces from one or multiple low-resolution (LR) faces with extreme poses. Specifically, we propose SuperFront-GAN (SF-GAN) to synthesize a high-resolution (HR), frontal face from one-to-many LR faces with various poses and with the identity-preserved. We integrate a super-resolution (SR) side-view module into SF-GAN to preserve identity information and fine details of the side-views in HR space, which helps model reconstruct high-frequency information of faces (i.e., periocular, nose, and mouth regions). Moreover, SF-GAN accepts multiple LR faces as input, and improves each added sample. We squeeze additional gain in performance with an orthogonal constraint in the generator to penalize redundant latent representations and, hence, diversify the learned features space. Quantitative and qualitative results demonstrate the superiority of SF-GAN over others.

研究动机与目标

• 为解决从低分辨率、极端姿态的人脸图像中生成高分辨率、身份保持的正面人脸的挑战，现有方法常因质量差和姿态变化大而难以处理。
• 通过在侧视分支中集成保留身份和精细面部细节的超分辨率模块，联合解决人脸超分辨率与大姿态正面化问题。
• 通过引入基于局部块的损失，增强结构相似性并捕捉边缘与形状信息，以提高面部结构准确性和身份保真度。
• 通过设计带有正交正则化的多图像融合机制，实现从具有任意姿态的多个低分辨率输入中鲁棒合成，减少特征冗余。
• 通过结合像素损失、身份损失、对抗损失和结构损失，实现身份识别和图像质量度量方面的最先进性能。

提出的方法

• SF-GAN 采用条件 GAN 框架，其生成器处理一个或多个低分辨率侧视人脸图像，并输出高分辨率正面人脸。
• 在主生成器并行集成超分辨率（SR）侧视模块，以保留高频细节（如眼周区域、鼻子和嘴巴），增强身份保真度。
• 引入基于 SSIM 的局部块损失，以提高结构一致性，并引导模型学习从侧视到正面视图的精确非线性变换。
• 通过共享生成器融合多个低分辨率图像实现单对多输入，同时在潜在空间应用正交正则化，以惩罚冗余表示并多样化特征。
• 损失函数结合 L1 像素损失、身份损失（L_ID）、对抗损失（L_Adv）和基于 SSIM 的局部块损失，以平衡保真度、身份和结构真实感。
• 多图像融合通过带正交约束的特征级拼接实现，优于图像级融合和朴素的特征相加。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否联合解决低分辨率人脸超分辨率与大姿态正面化问题，以保持身份和高频面部细节？
• RQ2 在侧视分支中集成超分辨率模块如何提升正面人脸合成中的身份保持性和图像质量？
• RQ3 与标准像素级损失相比，基于 SSIM 的局部块损失在多大程度上提升了结构保真度？
• RQ4 具有任意姿态的多图像输入在多大程度上影响合成正面人脸的质量和身份保持性？
• RQ5 在多图像生成器的潜在空间中引入正交正则化，是否能提升特征多样性并减少冗余，从而带来更好的合成性能？

主要发现

• 在 LFW-HPEN 基准上，SF-GAN 实现了 99.48% 的 Rank-1 准确率和 99.96% 的 AUC，优于先前的最先进方法。
• 在 MultiPIE 数据集上，使用多图像输入时，模型达到 98.43% 的 Rank-1 准确率，显著优于单图像基线和无约束的特征级融合方法。
• 消融实验表明，若移除 SR 侧视模块，性能下降至 84.99% 的 Rank-1 准确率，证实其在保持身份和精细细节方面的关键作用。
• 局部块损失（SSIM）有助于提升结构保真度；若移除该损失，Rank-1 准确率降至 91.16%，而使用全部损失时为 92.81%。
• 在多图像融合中引入正交正则化，使 Rank-1 准确率从 97.68% 提升至 98.43%，证明其在减少特征冗余方面的有效性。
• 在 MultiPIE 上，使用多图像输入时，模型保持了 24.43 dB 的高 PSNR 和 0.762 的 SSIM，表明图像质量与结构一致性优异。