[论文解读] Nonnegative Factorization and The Maximum Edge Biclique Problem

Nicolas Gillis, François Glineur|ArXiv.org|Oct 23, 2008

Graph Theory and Algorithms参考文献 39被引用 51

一句话总结

本文提出了非负分解（NF），这是非负矩阵分解（NMF）的推广，允许将任意实矩阵（而不仅非负矩阵）近似表示为两个非负矩阵的乘积。通过归约为最大边双团问题，证明了NF是NP难的；将乘法更新规则推广至NF；并提出了一种基于这些更新的新型双团查找算法，每轮迭代时间复杂度为O(|E|)，性能优于现有方法。

ABSTRACT

Nonnegative Matrix Factorization (NMF) is a data analysis technique which allows compression and interpretation of nonnegative data. NMF became widely studied after the publication of the seminal paper by Lee and Seung (Learning the Parts of Objects by Nonnegative Matrix Factorization, Nature, 1999, vol. 401, pp. 788--791), which introduced an algorithm based on Multiplicative Updates (MU). More recently, another class of methods called Hierarchical Alternating Least Squares (HALS) was introduced that seems to be much more efficient in practice. In this paper, we consider the problem of approximating a not necessarily nonnegative matrix with the product of two nonnegative matrices, which we refer to as Nonnegative Factorization (NF); this is the subproblem that HALS methods implicitly try to solve at each iteration. We prove that NF is NP-hard for any fixed factorization rank, using a reduction to the maximum edge biclique problem. We also generalize the multiplicative updates to NF, which allows us to shed some light on the differences between the MU and HALS algorithms for NMF and give an explanation for the better performance of HALS. Finally, we link stationary points of NF with feasible solutions of the biclique problem to obtain a new type of biclique finding algorithm (based on MU) whose iterations have an algorithmic complexity proportional to the number of edges in the graph, and show that it performs better than comparable existing methods.

研究动机与目标

• 形式化并分析非负分解（NF），即NMF在任意实矩阵非负矩阵近似中的推广。
• 通过归约为最大边双团问题，证明NF在任意固定秩下均为NP难。
• 将NMF中的乘法更新规则推广至NF，为乘法更新与HALS在性能上的差异提供新的理论见解。
• 基于NF和乘法更新，提出一种新的启发式双团查找算法，具有较低的每轮迭代复杂度。
• 通过实验证明，所提出的双团查找算法在DIMACS和随机图基准测试中均优于现有方法。

提出的方法

• 通过将最大边双团问题归约为秩一非负分解（NF-1d）问题，建立NF的NP难性。
• 通过推导在非负性约束下最小化残差矩阵Frobenius范数的更新规则，将NMF中的乘法更新算法推广至NF。
• 在NF公式中引入动态参数d，以控制稀疏性并强制残差中负元素置零，从而通过舍入实现双聚类。
• 提出算法1，一种基于NF公式的双团查找启发式算法，每轮迭代需O(|E|)次操作，其中|E|为图中边的数量。
• 利用NF问题的驻点与可行双团解之间的联系，构建新的双团查找框架。
• 采用正则化和自适应参数更新（如d = min(αd, dₘ)）以提升收敛性与实际应用中的适应性。

实验结果

研究问题

• RQ1 非负分解（NF）——即NMF在任意实矩阵非负矩阵近似中的推广——在任意固定秩下是否具有计算难度？
• RQ2 NMF中使用的乘法更新算法能否推广至NF场景？这一推广对理解标准NMF算法性能差异有何启示？
• RQ3 NF问题的驻点能否用于生成最大边双团问题的可行解？
• RQ4 基于NF公式对乘法更新的双团查找算法，是否在性能和计算复杂度上优于现有方法？
• RQ5 通过调节参数d，NF框架能否用于检测稀疏、加权或二值图中的密集子矩阵（双聚类）？

主要发现

• 通过归约为最大边双团问题，证明NF在任意固定分解秩下均为NP难。
• 将NMF的乘法更新规则推广至NF，该推广为原始Lee和Seung算法提供了新解释，解释了其在实际中表现相对较差的原因。
• 基于NF的乘法更新所提出的双团查找算法，每轮迭代时间复杂度为O(|E|)，在大规模稀疏图中具有高度效率。
• 在DIMACS基准图上，所提算法找到的双团边数显著多于贪心法或其他基于乘法更新的方法，尤其在高密度图中优势明显。
• 在随机图上，该算法始终优于现有方法，在0.9密度图上最佳情况下达到431.3条边，优于次优方法的241.9条边。
• 通过调节参数dₘ，该方法可适用于双聚类任务，在经典文本挖掘数据集上生成的子矩阵密度范围为29%至52%，且随着dₘ增大而提升。