[论文解读] On the complexity of nonnegative matrix factorization

Stephen A. Vavasis|ArXiv.org|Aug 30, 2007

Image Retrieval and Classification Techniques参考文献 6被引用 8

一句话总结

本文通过证明精确非负矩阵分解（NMF）与称为 INTERMEDIATE SIMPLEX 的多面体组合问题等价，确立了精确 NMF 是 NP-难问题，并展示了可通过线性规划实现的多项式时间局部搜索启发式算法。该工作确定了精确 NMF 的计算复杂性，并暗示了相关问题（如非负秩确定）的 NP-难性。

ABSTRACT

Nonnegative matrix factorization (NMF) has become a prominent technique for the analysis of image databases, text databases and other information retrieval and clustering applications. In this report, we define an exact version of NMF. Then we establish several results about exact NMF: (1) that it is equivalent to a problem in polyhedral combinatorics; (2) that it is NP-hard; and (3) that a polynomial-time local search heuristic exists.

研究动机与目标

• 正式确立精确非负矩阵分解（NMF）的计算复杂性。
• 证明精确 NMF 与多面体组合学中称为 INTERMEDIATE SIMPLEX 的问题等价。
• 证明 INTERMEDIATE SIMPLEX 问题为 NP-难，从而确立精确 NMF 的 NP-难性。
• 展示可通过线性规划求解精确 NMF 的局部搜索启发式算法。
• 将该难解性结果推广至非负秩确定问题。

提出的方法

• 将精确 NMF 约化为一个决策问题，即在给定秩-k 分解 A = W₀H₀ 的前提下，判断是否存在一个非奇异矩阵 Q，使得 W₀Q⁻¹ 和 QH₀ 均为非负矩阵。
• 通过多项式时间归约，证明精确 NMF 与 INTERMEDIATE SIMPLEX 问题之间的等价性。
• 采用几何方法，将 NMF 的解空间建模为具有 n 个面的多面体 P 和一组 m 个向量 S。
• 应用线性规划，在由 P 的包含关系和 S 的凸包导出的约束下，优化单形 T 中顶点的位置。
• 推导出一组线性方程和不等式，以定义单形中单个未知顶点的可行位置，从而实现局部搜索。
• 采用变量替换（αi, α*）以线性化单形中凸组合产生的非线性约束。

实验结果

研究问题

• RQ1 精确非负矩阵分解（NMF）在计算上是否困难？若是，其复杂度类为何？
• RQ2 精确 NMF 是否可约化为多面体组合学中的一个问题？其等价关系的本质是什么？
• RQ3 与精确 NMF 等价的 INTERMEDIATE SIMPLEX 问题是否为 NP-难？
• RQ4 能否以线性规划方式高效地表述并求解精确 NMF 的局部搜索启发式算法？
• RQ5 精确 NMF 的 NP-难性是否可推广至非负秩确定问题？

主要发现

• 精确 NMF 是 NP-难问题，这是通过将其约化为 NP-难的 INTERMEDIATE SIMPLEX 问题而证明的。
• 精确 NMF 与多面体组合学中的 INTERMEDIATE SIMPLEX 问题等价，且两个方向的归约均为多项式时间。
• 可通过线性规划实现精确 NMF 的局部搜索启发式算法，因为可行顶点位置构成一个多面体。
• 单形中单个未知顶点的可行区域由 mk 个等式和 n + mk 个不等式定义。
• 非负秩确定问题同样是 NP-难问题，因为它推广了精确 NMF。
• 该证明表明，任何 NMF 的近似版本至少与精确 NMF 一样困难，从而意味着标准 NMF 公式也具有 NP-难性。