[论文解读] Nonnegative Matrix Factorization for Semi-supervised Dimensionality Reduction

Youngmin Cho, Lawrence K. Saul|arXiv (Cornell University)|Dec 16, 2011

Face and Expression Recognition参考文献 26被引用 10

一句话总结

该论文提出了一种半监督非负矩阵分解（NMF）方法，通过利用大-margin分类器识别出的分类相关成分，将标记数据整合到降维过程中。该方法采用乘法更新规则，保证收敛，并在下游线性分类任务中表现优于无监督NMF和标准SVM，通常在原始输入空间中实现比普通SVM和半监督SVM更高的准确率。

ABSTRACT

We show how to incorporate information from labeled examples into nonnegative matrix factorization (NMF), a popular unsupervised learning algorithm for dimensionality reduction. In addition to mapping the data into a space of lower dimensionality, our approach aims to preserve the nonnegative components of the data that are important for classification. We identify these components from the support vectors of large-margin classifiers and derive iterative updates to preserve them in a semi-supervised version of NMF. These updates have a simple multiplicative form like their unsupervised counterparts; they are also guaranteed at each iteration to decrease their loss function---a weighted sum of I-divergences that captures the trade-off between unsupervised and supervised learning. We evaluate these updates for dimensionality reduction when they are used as a precursor to linear classification. In this role, we find that they yield much better performance than their unsupervised counterparts. We also find one unexpected benefit of the low dimensional representations discovered by our approach: often they yield more accurate classifiers than both ordinary and transductive SVMs trained in the original input space.

研究动机与目标

• 通过引入标记样本，提升非负矩阵分解（NMF）的性能，以实现更优的半监督降维。
• 利用大-margin分类器的支持向量，保留对分类至关重要的非负成分。
• 开发一种收敛的乘法更新规则，平衡无监督与有监督学习目标。
• 将该方法作为线性分类的预处理步骤进行评估，并与无监督NMF和标准SVM进行性能对比。

提出的方法

• 该方法利用在标记数据上训练的大-margin分类器的支持向量，识别出与分类相关的成分。
• 将I-散度的加权和作为损失函数，平衡重构误差（无监督）与分类保真度（有监督）。
• 推导出乘法更新规则，以最小化损失函数，同时在分解过程中保留已识别的非负成分。
• 更新规则在每次迭代中保证减少损失，确保收敛。
• 该算法在半监督设置下运行，因子分解过程中同时使用标记和未标记数据。
• 所得的低维表示作为线性分类器的输入，用于评估性能。

实验结果

研究问题

• RQ1 能否通过整合标记数据，有效将非负矩阵分解扩展至半监督学习？
• RQ2 在NMF分解过程中，如何识别并保留与分类相关的成分？
• RQ3 与无监督NMF相比，该方法是否能生成更低维的表示，并提升线性分类性能？
• RQ4 当在原始输入空间中使用时，该半监督NMF方法是否能超越标准SVM和半监督SVM？

主要发现

• 作为预处理步骤，所提出的半监督NMF方法在分类准确率方面显著优于无监督NMF。
• 该方法学习到的低维表示通常能生成比直接在原始输入空间中训练的普通SVM和半监督SVM更优的分类器。
• 乘法更新规则在每次迭代中保证减少损失函数，确保收敛。
• 通过利用大-margin分类器的支持向量，该方法成功保留了被识别为对分类重要的非负成分。
• 通过加权I-散度损失，该方法在无监督数据重构与有监督分类性能之间实现了良好的权衡。
• 实证结果表明，该半监督NMF在多个数据集上始终优于其无监督基线方法。