[论文解读] Verification of Very Low-Resolution Faces Using An Identity-Preserving Deep Face Super-Resolution Network

Esra Ataer Cansizoglu, M. G. K. Jones+2 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Image Processing Techniques参考文献 36被引用 13

一句话总结

本文提出了一种保持身份特征的深度人脸超分辨率网络，用于提升极低分辨率人脸图像（最小至6×6像素）以改善人脸识别性能。通过使用预训练的VGG人脸描述符，使超分辨率网络最小化超分辨率图像与高分辨率真实图像之间的特征距离，该方法在传统超分辨率技术基础上显著提升了人脸识别准确率，尤其在8倍放大倍数的极端情况下表现更优。

ABSTRACT

Face super-resolution methods usually aim at producing visually appealing results rather than preserving distinctive features for further face identification. In this work, we propose a deep learning method for face verification on very low-resolution face images that involves identity-preserving face super-resolution. Our framework includes a super-resolution network and a feature extraction network. We train a VGG-based deep face recognition network (Parkhi et al. 2015) to be used as feature extractor. Our super-resolution network is trained to minimize the feature distance between the high resolution ground truth image and the super-resolved image, where features are extracted using our pre-trained feature extraction network. We carry out experiments on FRGC, Multi-PIE, LFW-a, and MegaFace datasets to evaluate our method in controlled and uncontrolled settings. The results show that the presented method outperforms conventional super-resolution methods in low-resolution face verification.

研究动机与目标

• 解决在极低分辨率图像中进行人脸识别的挑战，因为传统识别方法因细节不足而失效。
• 通过超分辨率增强低分辨率人脸图像，而非仅依赖视觉质量，以提升人脸识别性能。
• 开发一种超分辨率框架，以保留具有判别力的身份特征，而非优化视觉外观。
• 评估在低分辨率人脸验证中，特征空间损失相较于传统图像空间损失的有效性。

提出的方法

• 预先训练一个基于VGG的深度人脸识别网络，并将其作为固定特征提取器，用于计算人脸描述符。
• 训练超分辨率网络，以最小化超分辨率图像的人脸描述符与高分辨率真实图像的人脸描述符之间的L2距离。
• 损失函数定义在特征空间（而非像素空间），使其具备身份感知能力，并针对验证性能进行优化。
• 采用联合训练策略，其中特征提取器与超分辨率生成器在交替步骤中进行训练，而非端到端训练。
• 在多种数据集（FRGC、Multi-PIE、LFW-a、MegaFace）上，于受控与非受控条件下评估该框架。
• 通过优先考虑特征相似性而非像素级重建或SSIM，明确避免对视觉外观的过拟合。

实验结果

研究问题

• RQ1 与标准超分辨率方法相比，通过最小化低分辨率输入与高分辨率真实图像之间在特征空间的距离来训练的超分辨率网络，是否能提升人脸识别准确率？
• RQ2 使用基于VGG的人脸描述符作为监督信号，对低分辨率人脸验证中的人脸身份保持有何影响？
• RQ3 不同损失函数（重建、SSIM、识别、联合）在提升验证性能方面的相对贡献如何？
• RQ4 在极端分辨率退化条件下的非受控、真实场景设置中，该方法是否优于传统超分辨率技术？
• RQ5 在超分辨率图像中去除光照伪影在多大程度上能提升验证准确率？

主要发现

• 所提方法在FRGC、Multi-PIE、LFW-a和MegaFace数据集上，显著优于传统超分辨率技术（如双三次插值、SRCNN、VDSR、MZQ、URDGN）的人脸验证准确率。
• 仅使用基于识别的损失进行超分辨率，其验证性能优于使用重建或SSIM损失，即使生成结果的视觉质量较差。
• 该方法有效减少了超分辨率图像中的光照伪影，从而在非受控环境中提升了验证准确率。
• 使用特征空间损失能更好地保留关键面部特征（如眼睛和鼻子），这些特征对身份识别至关重要。
• 在8倍放大倍数下，该方法在低分辨率人脸验证任务中达到最先进性能，证明了身份感知超分辨率的有效性。
• 结果表明，PSNR等视觉质量指标无法有效反映验证性能，而特征空间相似性是更相关的评估指标。