[论文解读] Nonnegative Matrix Factorization in Dimensionality Reduction: A Survey

Farid Saberi-Movahed, Kamal Berahman+3 more|arXiv (Cornell University)|May 6, 2024

Face and Expression Recognition被引用 7

一句话总结

这项综述将降维方法分类，并回顾用于特征提取和特征选择的NMF变体，概述趋势与未来方向。

ABSTRACT

Dimensionality Reduction plays a pivotal role in improving feature learning accuracy and reducing training time by eliminating redundant features, noise, and irrelevant data. Nonnegative Matrix Factorization (NMF) has emerged as a popular and powerful method for dimensionality reduction. Despite its extensive use, there remains a need for a comprehensive analysis of NMF in the context of dimensionality reduction. To address this gap, this paper presents a comprehensive survey of NMF, focusing on its applications in both feature extraction and feature selection. We introduce a classification of dimensionality reduction, enhancing understanding of the underlying concepts. Subsequently, we delve into a thorough summary of diverse NMF approaches used for feature extraction and selection. Furthermore, we discuss the latest research trends and potential future directions of NMF in dimensionality reduction, aiming to highlight areas that need further exploration and development.

研究动机与目标

• 将降维分为特征提取和特征选择，突出NMF的作用。
• 总结NMF变体及其在特征提取中的应用。
• 总结NMF变体及其在特征选择中的应用。
• 讨论当前趋势并提出NMF在降维中的未来研究方向。

提出的方法

• 描述以beta发散和Frobenius范数为共同目标的NMF损失框架。
• 回顾NMF的变体，包括SNMF、ONMF、NMTF、PNMF和判别性NMF。
• 将特征提取NMF归类为变体、正则化、广义和鲁棒四类。
• 从标准、凸、基于图、双图、稀疏性和正交性视角整理特征选择NMF。
• 讨论NMF的优化方法，如MUR、ANLS、HALS和ADMM。

Figure 1. Categorizing dimensionality reduction techniques: a clear division into feature extraction and feature selection approaches

实验结果

研究问题

• RQ1 NMF是什么，它在降维中的功能是怎样的？
• RQ2 NMF的各种变体及其在降维中的应用是什么？
• RQ3 与其他降维技术相比，NMF的优点与局限性是什么？
• RQ4 NMF在降维中的未来方向是什么？

主要发现

• NMF提供基于部件的、可解释的表示，且适用于非负数据。
• NMF变体在特征提取中可分为四组：变体、正则化、广义和鲁棒。
• 用于特征选择的NMF可以从多种角度分析，包括标准、凸、基于图和正交性约束。
• 综述讨论了多种针对NMF的优化方法，强调它们的适用性和收敛性考虑。
• SNMF、ONMF和双正交变体在图结构数据中提供聚类和可解释性的优势。
• 本文指出在降维中推进NMF的趋势与未来方向。

Figure 2. Classifying current NMF approaches for feature extraction into four groups: Variants of NMF, Regularized NMF, Generalized NMF, and Robust NMF.