[论文解读] Quality Classified Image Analysis with Application to Face Detection and Recognition

Fei Yang, Qian Zhang+2 more|arXiv (Cornell University)|Jan 19, 2018

Face recognition and analysis参考文献 11被引用 3

一句话总结

该论文提出了一种基于质量分类的图像分析框架，通过识别图像中的退化类型（如JPEG压缩、低分辨率）及其严重程度，并融合针对不同质量等级的检测器与识别器，显著提升了在混合图像质量真实场景下的人脸识别与检测性能。该方法在混合质量数据集上实现了最先进性能，目标检测的mAP提升至0.9602，人脸识别准确率达到65.81%。

ABSTRACT

Motion blur, out of focus, insufficient spatial resolution, lossy compression and many other factors can all cause an image to have poor quality. However, image quality is a largely ignored issue in traditional pattern recognition literature. In this paper, we use face detection and recognition as case studies to show that image quality is an essential factor which will affect the performances of traditional algorithms. We demonstrated that it is not the image quality itself that is the most important, but rather the quality of the images in the training set should have similar quality as those in the testing set. To handle real-world application scenarios where images with different kinds and severities of degradation can be presented to the system, we have developed a quality classified image analysis framework to deal with images of mixed qualities adaptively. We use deep neural networks first to classify images based on their quality classes and then design a separate face detector and recognizer for images in each quality class. We will present experimental results to show that our quality classified framework can accurately classify images based on the type and severity of image degradations and can significantly boost the performances of state-of-the-art face detector and recognizer in dealing with image datasets containing mixed quality images.

研究动机与目标

• 为解决图像质量对人脸识别与检测性能的显著影响这一关键但常被忽视的问题。
• 证明模型在训练与测试时应具有相似的图像质量，而不仅仅是高质量数据即可实现最优性能。
• 开发一种能够对图像退化类型与严重程度（如JPEG、低分辨率）进行分类的框架，以实现自适应处理。
• 设计一种模型融合策略，根据输入图像的质量，选择并组合对应质量等级的检测器与识别器。
• 在真实世界混合质量数据集上验证该框架，证明其相比标准方法具有显著的性能提升。

提出的方法

• 训练一个深度神经网络，根据退化类型（JPEG压缩或低分辨率）及其严重程度，将输入图像分类至不同的质量类别。
• 该框架使用质量分类器在推理前将每张测试图像分配至特定质量类别，随后将其路由至对应的预训练检测器或识别器。
• 针对每个质量类别，在具有相似退化特征的数据集上分别训练独立的面部检测器与识别器。
• 在推理阶段，选择预测置信度最高的K个（如K=1、3、5）质量特定模型，并融合其预测结果以提升准确性。
• 该方法利用Faster R-CNN和VGG_Face等先进模型作为基础学习器，嵌入至质量分类框架中。
• 通过mAP评估检测性能，通过准确率评估识别性能，在混合质量测试数据集上对框架进行评估。

实验结果

研究问题

• RQ1 图像质量是否显著降低标准人脸识别与检测模型的性能？
• RQ2 模型性能是否更依赖于训练与测试数据具有相似的图像质量，而非绝对的高质量？
• RQ3 基于深度学习的分类器能否准确识别图像退化的类型与严重程度（如JPEG压缩、低分辨率）？
• RQ4 在混合质量数据集上，融合质量特定模型的预测结果是否优于标准模型？
• RQ5 在图像质量多变的真实世界图像分析场景中，所提框架相比基线方法的性能提升程度如何？

主要发现

• 当在混合质量数据集上融合来自前5个质量特定模型的预测结果时，该框架实现0.9602的面部检测mAP，显著优于标准模型。
• 仅在高质量数据上进行训练时，面部检测mAP在混合质量测试数据上下降至0.7292，凸显了质量不匹配的负面影响。
• 采用目标模型方法（即已知真实质量）时，mAP达到0.9557，表明质量感知建模可近乎恢复理想性能。
• 在混合质量数据上，该框架将人脸识别准确率从标准方法的61.4%提升至65.81%（K=5融合），展现出持续的性能增益。
• 质量分类器能准确区分JPEG压缩与低分辨率退化，从而实现对相应模型的有效路由。
• K=5的模型融合策略取得最高性能，表明结合多个专用模型比依赖单一模型更具优势。