[论文解读] Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization

Ivan Ivek|arXiv (Cornell University)|May 27, 2014

Face and Expression Recognition参考文献 32被引用 7

一句话总结

该论文提出了一种基于变分贝叶斯组稀疏非负矩阵分解（NMF）的监督字典学习方法，用于学习由标签驱动的低维特征子空间。通过将类别标签建模为系数稀疏性中的组结构，该方法增强了判别能力，在人脸和面部表情识别任务中优于无监督NMF基线方法。

ABSTRACT

Nonnegative matrix factorization (NMF) with group sparsity constraints is formulated as a probabilistic graphical model and, assuming some observed data have been generated by the model, a feasible variational Bayesian algorithm is derived for learning model parameters. When used in a supervised learning scenario, NMF is most often utilized as an unsupervised feature extractor followed by classification in the obtained feature subspace. Having mapped the class labels to a more general concept of groups which underlie sparsity of the coefficients, what the proposed group sparse NMF model allows is incorporating class label information to find low dimensional label-driven dictionaries which not only aim to represent the data faithfully, but are also suitable for class discrimination. Experiments performed in face recognition and facial expression recognition domains point to advantages of classification in such label-driven feature subspaces over classification in feature subspaces obtained in an unsupervised manner.

研究动机与目标

• 开发一种监督字典学习框架，利用类别标签信息以提升分类任务中的特征表示能力。
• 通过将类别标签建模为系数矩阵中的潜在组结构，将组稀疏性约束引入NMF。
• 在概率图模型框架下，推导出用于端到端学习模型参数的变分贝叶斯推理算法。
• 证明标签驱动的字典在分类任务中优于无监督特征子空间。
• 在真实世界的人脸与面部表情识别数据集上验证该方法。

提出的方法

• 将组稀疏NMF建模为具有层次先验的贝叶斯图模型，以在系数稀疏性中编码组结构。
• 提出一种变分贝叶斯推理算法，用于近似潜在变量和模型参数的后验分布。
• 在系数矩阵上引入组稀疏性诱导先验，其中组对应于类别标签，以促进判别性特征学习。
• 通过将类别标签映射为组身份，将模型应用于监督学习，实现标签感知的字典学习。
• 利用平均场近似推导出变分参数的闭式更新方程，以确保计算效率。
• 采用一种概率框架，联合优化字典原子与系数，同时对每个类别组强制实施稀疏性。

实验结果

研究问题

• RQ1 将类别标签信息整合到NMF的稀疏性结构中，是否能提升分类任务的特征表示能力？
• RQ2 采用变分贝叶斯推理的组稀疏NMF与标准无监督NMF相比，在监督识别任务中表现如何？
• RQ3 所提出的方法在低维特征子空间中在多大程度上增强了判别能力？
• RQ4 基于类别标签的组稀疏性是否能生成更紧凑且更具信息量的字典？
• RQ5 该方法在不同的人脸与表情识别基准测试中表现如何？

主要发现

• 所提方法在人脸识别与面部表情识别任务中均取得了高于无监督NMF的分类准确率。
• 通过组稀疏NMF学习到的标签驱动字典，由于其与类别身份对齐的结构化稀疏性，表现出更强的判别能力。
• 变分贝叶斯推理框架实现了稳健的参数估计并可量化不确定性，从而增强了模型稳定性。
• 实验结果证实，通过组稀疏性整合标签信息，可获得更紧凑且更具语义意义的特征表示。
• 在分类F1分数与准确率方面，该方法优于基线方法，尤其在小样本场景下表现更优。
• 概率建模框架可通过边缘似然优化，实现对超参数与模型复杂度的合理控制。