[论文解读] Sparse Graphical Representation based Discriminant Analysis for Heterogeneous Face Recognition

Chunlei Peng, Xinbo Gao+2 more|arXiv (Cornell University)|Jul 1, 2016

Face and Expression Recognition参考文献 46被引用 8

一句话总结

本文提出了一种基于稀疏图表示的判别分析方法（SGR-DA），用于异质人脸识别，通过马尔可夫网络实现自适应稀疏图建模，并结合基于空间划分的判别分析，以增强特征的可分性。该方法在TIR-VIS数据集上取得了93.08%的rank-50准确率，显著优于先前方法，达到当前最优水平。

ABSTRACT

Face images captured in heterogeneous environments, e.g., sketches generated by the artists or composite-generation software, photos taken by common cameras and infrared images captured by corresponding infrared imaging devices, usually subject to large texture (i.e., style) differences. This results in heavily degraded performance of conventional face recognition methods in comparison with the performance on images captured in homogeneous environments. In this paper, we propose a novel sparse graphical representation based discriminant analysis (SGR-DA) approach to address aforementioned face recognition in heterogeneous scenarios. An adaptive sparse graphical representation scheme is designed to represent heterogeneous face images, where a Markov networks model is constructed to generate adaptive sparse vectors. To handle the complex facial structure and further improve the discriminability, a spatial partition-based discriminant analysis framework is presented to refine the adaptive sparse vectors for face matching. We conducted experiments on six commonly used heterogeneous face datasets and experimental results illustrate that our proposed SGR-DA approach achieves superior performance in comparison with state-of-the-art methods.

研究动机与目标

• 解决由于草图、红外与可见光图像等异质模态之间存在显著纹理与风格差异，导致的人脸识别性能下降的问题。
• 克服现有方法依赖固定K近邻或忽略面部空间结构的局限性，从而降低可分性的问题。
• 构建一个可泛化的框架，以增强在多种异质人脸识别场景（包括法医草图、合成草图及热成像到可见光图像匹配）下的特征表示与匹配准确率。
• 通过将基于行、列及学习型的空间划分策略整合进稀疏表示过程，提升判别能力。

提出的方法

• 提出一种基于马尔可夫网络的自适应稀疏图表示方法，用于建模面部块，通过学习权重向量以最小化重建误差并保持块间一致性。
• 提出一种新型优化框架，联合最小化重建误差，并通过二次目标函数强制相邻块之间的结构一致性。
• 在稀疏表示上应用空间划分（行方向、列方向及学习型）以细化局部面部区域的判别性特征。
• 采用判别分析框架，在优化后的稀疏向量空间中最大化类间方差并最小化类内方差，以提升匹配性能。
• 将优化问题表述为带有稀疏性与归一化约束的约束二次规划问题，作用于权重向量。
• 利用马尔可夫网络建模局部面部结构并自适应选择相关邻居，避免先前方法中固定K近邻的限制。

实验结果

研究问题

• RQ1 与固定邻居方法相比，自适应稀疏图表示是否能提升异质人脸识别中的判别能力？
• RQ2 面部区域的空间划分如何增强异质人脸识别任务中稀疏表示的可分性？
• RQ3 所提出的SGR-DA框架是否能在包括草图到照片、NIR到VIS以及TIR到VIS匹配等多种异质人脸识别场景中实现良好泛化？
• RQ4 基于马尔可夫网络的表示与判别分析相结合，相较于现有最先进方法，其性能提升程度如何？

主要发现

• 所提出的SGR-DA方法在TIR-VIS数据集上达到93.08%的rank-50准确率，显著优于之前最佳方法（P-RS）的46.15%。
• 在CUFSF视图草图数据集上，SGR-DA实现了更优的rank-1准确率，较最先进方法高出5%。
• 该方法在多种异质人脸识别场景（包括法医草图、合成草图及半法医草图）下表现出强大的泛化能力，适用于不同评估协议。
• 基于空间划分的判别分析框架通过利用行、列及学习型划分有效提升了局部稀疏表示的特征可分性。
• 自适应稀疏表示降低了对人工调参K近邻的依赖，提升了在多种模态下的鲁棒性与性能。