[论文解读] Training-Free Synthesized Face Sketch Recognition Using Image Quality Assessment Metrics

Nannan Wang, Jie Li+3 more|arXiv (Cornell University)|Mar 25, 2016

Image and Video Quality Assessment参考文献 14被引用 9

一句话总结

该论文提出了一种无需训练的人脸素描识别框架，利用全参考图像质量评估（IQA）度量——SSIM、VIF、FSIM 和 GMSD——将探测素描与合成证件照素描图库进行匹配。通过在 1-NN 分类中使用 IQA 分数作为相似性度量，该方法在基线 K-NN 方法之上实现了更优的准确率，甚至优于经典的基于训练的 Eigenface 方法，使用 MWF 合成方法生成的素描时，最佳 rank-1 准确率达到 84.91%（基于 VIF 度量）。

ABSTRACT

Face sketch synthesis has wide applications ranging from digital entertainments to law enforcements. Objective image quality assessment scores and face recognition accuracy are two mainly used tools to evaluate the synthesis performance. In this paper, we proposed a synthesized face sketch recognition framework based on full-reference image quality assessment metrics. Synthesized sketches generated from four state-of-the-art methods are utilized to test the performance of the proposed recognition framework. For the image quality assessment metrics, we employed the classical structured similarity index metric and other three prevalent metrics: visual information fidelity, feature similarity index metric and gradient magnitude similarity deviation. Extensive experiments compared with baseline methods illustrate the effectiveness of the proposed synthesized face sketch recognition framework. Data and implementation code in this paper are available online at www.ihitworld.com/WNN/IQA_Sketch.zip.

研究动机与目标

• 开发一种无需训练的人脸素描识别框架，以避免高昂的素描数据收集与分类器学习成本。
• 使用全参考图像质量评估（IQA）度量作为代理指标，评估合成的人脸素描质量。
• 通过合成与基于 IQA 的匹配方法，减少素描与证件照之间的域差距，从而提升素描到照片的匹配准确率。
• 为异构人脸图像转换任务（如可见光到红外、照片到素描）提供一种可泛化的评估框架。
• 证明 IQA 度量可在无需训练的情况下作为有效的识别相似性度量。

提出的方法

• 使用四种最先进的合成方法（LLE、SSD、MRF 和 MWF）将图库中的所有证件照转换为素描。
• 将每个探测素描视为参考图像，将每个合成素描视为全参考 IQA 设置中的失真图像。
• 在探测素描与图库中每个合成素描之间计算 IQA 分数（SSIM、VIF、FSIM、GMSD）。
• 通过选择 IQA 分数最高的图库素描作为匹配结果，执行 1-NN 分类。
• 使用累积匹配准确率（CMA）和基于排名的评估方法，衡量不同 IQA 度量与合成方法下的识别性能。
• 通过重复随机采样与平均准确率报告，将所提出的基于 IQA 的框架与基线 K-NN 方法及基于训练的 Eigenface 方法进行比较。

实验结果

研究问题

• RQ1 全参考图像质量评估度量是否能有效替代传统识别方法，用于合成人脸素描匹配？
• RQ2 基于 IQA 度量的无需训练框架是否在素描识别中优于传统的 K-NN 方法以及基于训练的 Eigenface 方法？
• RQ3 在应用于合成素描时，哪种 IQA 度量（SSIM、VIF、FSIM、GMSD）能实现最高的识别准确率？
• RQ4 当使用基于 IQA 的识别方法评估时，不同人脸素描合成方法（LLE、SSD、MRF、MWF）的性能如何比较？
• RQ5 所提出的基于 IQA 的框架能否作为人脸素描合成质量的可靠评估指标？

主要发现

• 所提出的基于 IQA 的框架在使用 MWF 合成方法生成的素描上，结合 VIF 度量，实现了最佳的 rank-1 准确率 84.91%。
• 当使用 FSIM 度量时，LLE 方法在 rank-50 准确率上达到最高的 98.22%，表明其在较高排名上表现优异。
• 基于 IQA 的方法在所有度量和合成方法下均优于 K-NN 基线，识别准确率持续提升。
• 该框架超越了经典的基于训练的 Eigenface 方法，在所有四种合成方法下均实现了更高的平均准确率。
• MWF 方法始终表现优异，使用 VIF 度量时达到最佳 rank-1 准确率，同时在 GMSD 和 FSIM 度量下也表现出色。
• 该框架展现出良好的泛化能力，可应用于评估除照片到素描之外的其他异构人脸图像转换任务。