[论文解读] On Restricted Nonnegative Matrix Factorization

Dmitry Chistikov, Stefan Kiefer+3 more|arXiv (Cornell University)|May 23, 2016

Matrix Theory and Algorithms参考文献 2被引用 3

一句话总结

本文建立了受限非负矩阵分解（RNMF）与概率自动机之间的深刻联系，通过证明最小覆盖概率自动机并不总是存在有理数转移概率，从而解决了帕兹于1971年提出的一个开放问题。关键结果表明，即使一个矩阵的有理数秩很低，其最小RNMF分解的因子中也可能需要无理数项，从而推翻了1974年的一项长期存在的断言。

ABSTRACT

Nonnegative matrix factorization (NMF) is the problem of decomposing a given nonnegative $n imes m$ matrix $M$ into a product of a nonnegative $n imes d$ matrix $W$ and a nonnegative $d imes m$ matrix $H$. Restricted NMF requires in addition that the column spaces of $M$ and $W$ coincide. Finding the minimal inner dimension $d$ is known to be NP-hard, both for NMF and restricted NMF. We show that restricted NMF is closely related to a question about the nature of minimal probabilistic automata, posed by Paz in his seminal 1971 textbook. We use this connection to answer Paz's question negatively, thus falsifying a positive answer claimed in 1974. Furthermore, we investigate whether a rational matrix $M$ always has a restricted NMF of minimal inner dimension whose factors $W$ and $H$ are also rational. We show that this holds for matrices $M$ of rank at most $3$ and we exhibit a rank-$4$ matrix for which $W$ and $H$ require irrational entries.

研究动机与目标

• 研究有理数非负矩阵是否始终可实现具有有理数因子的受限NMF。
• 解决帕兹（1971）提出的关于存在具有有理数转移概率的最小覆盖概率自动机的开放问题。
• 厘清代数结构与受限NMF和嵌套多面体问题（NPP）之间的关系。
• 确定有理数矩阵的受限非负秩在何种条件下可由有理数因子矩阵实现。
• 研究受限NMF的计算复杂度与代数结构，特别是有理数域上的情况。

提出的方法

• 建立了受限NMF与标记马尔可夫链（LMCs）中可覆盖关系之间的正式对应，将RNMF与概率自动机理论联系起来。
• 通过嵌套多面体问题（NPP）的几何推理分析最小顶点解，将矩阵分解约束转化为多面体几何。
• 构造了一个特定的秩为4的有理数矩阵M，证明在NPP中不存在5个点的有理数解，从而证明该矩阵在有理数域上的受限非负秩为6。
• 采用松弛函数与区间分析，严格证明NPP中最小顶点构型所需的坐标必须为无理数。
• 利用RNMF与最小概率自动机之间的对偶性，表明最小覆盖自动机可能无法以有理数概率存在。
• 运用代数技术证明，有理数矩阵的最小RNMF可能需要在因子矩阵W和H中引入无理数项。

实验结果

研究问题

• RQ1 每个有理数矩阵是否总能在最小内维数下实现具有有理数因子W和H的受限NMF？
• RQ2 如1974年所声称的那样，是否总能存在一个具有有理数转移概率的最小概率自动机来覆盖给定的LMC？
• RQ3 有理数矩阵的受限非负秩是否总能通过有理数因子矩阵实现？
• RQ4 当输入多面体为有理数时，嵌套多面体问题（NPP）中所需的最小顶点数是多少？
• RQ5 是否能从代数或几何角度刻画RNMF因子中无理数项的存在？

主要发现

• 存在一个秩为4的有理数矩阵，其在最小内维数下不存在有理数受限NMF，证明W和H中必须包含无理数项。
• 该矩阵在有理数域上的受限非负秩为6，而其非负秩为5，表明有理数与实数域上的RNMF之间存在严格分离。
• 对于某一LMC，其最小覆盖概率自动机无法具有有理数转移概率，从而推翻了1974年的相关断言。
• 该实例中嵌套多面体问题的最小顶点解需要无理数坐标，证实有理数解并非总是存在。
• 对于秩不超过3的矩阵，有理数RNMF总能在最小内维数下实现，表明在秩为4处存在一个临界点。
• 松弛函数分析证明，NPP中某一关键顶点的x坐标必须恰好为2−√2，这是一个无理数，从而确认了无理数项的必要性。