[论文解读] Nuclear Norm based Matrix Regression with Applications to Face Recognition with Occlusion and Illumination Changes

Jian Yang, Jianjun Qian+3 more|arXiv (Cornell University)|May 6, 2014

Face and Expression Recognition参考文献 37被引用 15

一句话总结

本文提出基于核范数的矩阵回归（NMR），一种二维矩阵回归模型，通过利用表示误差图像的核范数来提升在遮挡和光照变化下的人脸识别性能。通过将误差建模为低秩矩阵，并采用交替方向乘子法（ADMM），NMR 在四个主要人脸数据库上优于现有的基于回归的方法，展现出对结构噪声和光照变化的更强鲁棒性。

ABSTRACT

Recently regression analysis becomes a popular tool for face recognition. The existing regression methods all use the one-dimensional pixel-based error model, which characterizes the representation error pixel by pixel individually and thus neglects the whole structure of the error image. We observe that occlusion and illumination changes generally lead to a low-rank error image. To make use of this low-rank structural information, this paper presents a two-dimensional image matrix based error model, i.e. matrix regression, for face representation and classification. Our model uses the minimal nuclear norm of representation error image as a criterion, and the alternating direction method of multipliers method to calculate the regression coefficients. Compared with the current regression methods, the proposed Nuclear Norm based Matrix Regression (NMR) model is more robust for alleviating the effect of illumination, and more intuitive and powerful for removing the structural noise caused by occlusion. We experiment using four popular face image databases, the Extended Yale B database, the AR database, the Multi-PIE and the FRGC database. Experimental results demonstrate the performance advantage of NMR over the state-of-the-art regression based face recognition methods.

研究动机与目标

• 解决在遮挡和光照变化下，基于一维像素的误差模型在人脸识别中的局限性。
• 利用由遮挡和光照变化引起的误差图像的低秩结构。
• 开发一种基于二维矩阵的回归模型，以在误差表示中保留空间结构。
• 提升在具有挑战性的人脸识别场景中对结构噪声的鲁棒性并提高分类准确率。

提出的方法

• 提出一种矩阵回归框架，将表示误差建模为二维图像矩阵，而非一维向量。
• 使用误差矩阵的核范数作为正则化准则，以促进低秩结构。
• 采用交替方向乘子法（ADMM）高效求解优化问题。
• 将核范数最小化集成到回归框架中，联合学习表示系数和误差结构。
• 将误差图像整体视为矩阵，以保持空间一致性和结构模式。
• 通过最小化测试图像与训练类别表示之间残差矩阵的核范数，将该模型应用于人脸识别。

实验结果

研究问题

• RQ1 是否能够通过保留空间结构的基于矩阵的误差模型，在遮挡和光照变化下的人脸识别中超越传统的基于像素的回归方法？
• RQ2 最小化误差图像的核范数是否能有效捕捉并抑制由遮挡和光照变化引起的结构噪声？
• RQ3 在基准数据库上，所提出的 NMR 模型与最先进的基于回归的人脸识别方法相比性能如何？
• RQ4 在存在损坏的真实世界人脸识别场景中，误差图像的低秩假设在多大程度上成立？
• RQ5 基于核范数正则化的矩阵回归是否能在保持计算效率的同时提升鲁棒性？

主要发现

• 在 Extended Yale B 数据库上，NMR 在严重光照变化下实现了优于现有方法的识别准确率。
• 在带有遮挡的 AR 数据库上，NMR 展现出显著的鲁棒性，相比基线回归模型显著降低了错误率。
• 在 Multi-PIE 和 FRGC 数据库上，该方法表现出一致的性能提升，证实了其在不同光照和姿态条件下的泛化能力。
• 核范数正则化有效捕捉了低秩误差结构，相比基于像素的 L2 或 L1 模型，噪声抑制效果更优。
• 实证结果证实，将误差建模为矩阵而非向量，能够保持空间一致性，从而增强识别的鲁棒性。
• 基于 ADMM 的优化方法收敛稳定且高效，使该方法能够实际部署于大规模人脸识别任务。