[论文解读] Nonnegative Matrix Factorization with Local Similarity Learning

Chong Peng, Zhao Kang+2 more|arXiv (Cornell University)|Jul 9, 2019

Face and Expression Recognition参考文献 45被引用 6

一句话总结

本文提出局部相似性感知非负矩阵分解（KLS-NMF），通过联合学习局部几何结构与数据相似性来提升聚类性能。通过将局部相似性学习与正交性约束及非线性核扩展相结合，该方法在保证收敛性的同时，在基准数据集上取得了优越的实验结果。

ABSTRACT

Existing nonnegative matrix factorization methods focus on learning global structure of the data to construct basis and coefficient matrices, which ignores the local structure that commonly exists among data. In this paper, we propose a new type of nonnegative matrix factorization method, which learns local similarity and clustering in a mutually enhancing way. The learned new representation is more representative in that it better reveals inherent geometric property of the data. Nonlinear expansion is given and efficient multiplicative updates are developed with theoretical convergence guarantees. Extensive experimental results have confirmed the effectiveness of the proposed model.

研究动机与目标

• 为解决现有NMF方法在捕捉数据局部几何结构方面的局限性。
• 通过联合学习局部相似性和内在数据几何结构来提升聚类性能。
• 为所提出模型开发一个理论收敛的优化框架。
• 通过核化实现非线性表示学习，同时保持局部结构。
• 降低参数敏感性，提升在真实世界应用中的实用性。

提出的方法

• 提出一种新颖的NMF公式，将局部相似性学习整合到分解过程中。
• 引入基于RBF核的核化变体，以建模数据中的非线性关系。
• 对系数矩阵施加正交约束，以增强唯一性和聚类可解释性。
• 推导出具有理论收敛保证的高效乘法更新规则。
• 使用基于图的正则化项，以在低维空间中保持局部流形结构。
• 采用双优化策略，交替更新基矩阵和系数矩阵，同时保持非负性和正交性。

实验结果

研究问题

• RQ1 联合学习局部相似性和几何结构是否能提升基于NMF的聚类性能？
• RQ2 正交约束与局部相似性学习的结合如何影响分解的唯一性和聚类可解释性？
• RQ3 在不同参数设置下，该方法是否保持收敛性和稳定性？
• RQ4 与线性NMF变体相比，核化版本在非线性数据上的性能提升程度如何？
• RQ5 该方法对超参数选择（特别是正则化参数λ）的敏感性如何？

主要发现

• KLS-NMF在多个数据集上实现了83.66%的平均聚类准确率，优于基线方法。
• 在Semeion数据集上，KLS-NMF在λ = 113时达到82.74%的准确率，表现出优异的性能稳定性。
• 优化过程在约100次迭代内收敛，客观值和参数更新序列均得到验证。
• 实证结果表明，KLS-NMF对参数变化具有鲁棒性，在广泛的λ取值范围内表现一致。
• 客观函数在优化过程中单调递减，证实了更新规则的理论收敛性。
• KLS-NMF在NMI和纯度指标上表现更优，表明聚类质量更高且结构保持更佳。