[论文解读] Recovery Guarantee of Non-negative Matrix Factorization via Alternating Updates

Yuanzhi Li, Yingyu Liang+1 more|arXiv (Cornell University)|Nov 11, 2016

Blind Source Separation Techniques参考文献 15被引用 17

一句话总结

本文提出了一种非负矩阵分解（NMF）的交替更新算法，在最小假设条件下——即真实特征的线性无关性——可证明地恢复真实特征矩阵。通过利用基于ReLU的解码来利用非负性，该方法对对抗性噪声和非偏置噪声均表现出强鲁棒性，可容忍与信号相当或更大的噪声水平，且恢复误差受噪声幅度的有界控制。

ABSTRACT

Non-negative matrix factorization is a popular tool for decomposing data into feature and weight matrices under non-negativity constraints. It enjoys practical success but is poorly understood theoretically. This paper proposes an algorithm that alternates between decoding the weights and updating the features, and shows that assuming a generative model of the data, it provably recovers the ground-truth under fairly mild conditions. In particular, its only essential requirement on features is linear independence. Furthermore, the algorithm uses ReLU to exploit the non-negativity for decoding the weights, and thus can tolerate adversarial noise that can potentially be as large as the signal, and can tolerate unbiased noise much larger than the signal. The analysis relies on a carefully designed coupling between two potential functions, which we believe is of independent interest.

研究动机与目标

• 为解决非负矩阵分解（NMF）中的理论空白，现有方法依赖于强结构假设或对权重矩阵的限制性分布条件。
• 开发一种在实际中可行且理论上有根基的算法，避免依赖代数几何或张量分解。
• 即使在存在大范围对抗性噪声和非偏置噪声的情况下，也能在对特征矩阵假设最少的前提下，实现真实特征矩阵的可证明恢复。
• 为广泛使用的NMF交替更新算法提供理论基础，这些算法在实践中表现良好但理论理解不足。

提出的方法

• 该算法在使用ReLU阈值化进行非负权重解码与通过类似梯度的步骤更新特征矩阵之间交替进行。
• 采用基于ReLU的解码过程，利用真实权重的非负性，以增强对噪声的鲁棒性。
• 该方法依赖于一种热启动策略，其中初始特征与真实特征相关，这在主题建模等应用中是常见做法。
• 引入一种新颖的双势函数耦合机制，以在中间解码存在错误的情况下分析收敛性。
• 分析表明，即使由于对抗性噪声导致解码错误，该算法仍能保持向恢复目标的进展。
• 该算法无需知晓权重分布，仅在真实特征列线性无关的最小假设下即可运行。

实验结果

研究问题

• RQ1 对于NMF的交替更新算法，是否能在对特征矩阵假设最少的条件下，实现真实特征矩阵的可证明恢复？
• RQ2 该算法对可与信号本身大小相当的对抗性噪声有多强的鲁棒性？
• RQ3 该算法能否容忍显著大于信号的非偏置噪声，同时仍实现精确恢复？
• RQ4 非负性在噪声存在下如何促进鲁棒解码与恢复？
• RQ5 如何为不假设中间步骤完美解码的交替算法建立理论保证？

主要发现

• 当$\u0000A^*$的列线性无关时，该算法可证明地恢复真实特征矩阵$\u0000A^*$，无需额外的结构假设。
• 即使对抗性噪声$\nu$满足$\|\nu\|_1$与信号$\mathbb{A}^*x^*$同阶，恢复误差仍满足$\|\mathbb{A}^* - \mathbb{A}\|_1 \leq O(\|\nu\|_1)$。
• 对于非偏置噪声，该算法可容忍$\|\nu\|_1$达到信号大小的$\Omega(\sqrt{n})$倍，误差界为$O(\|\nu\|_1 \sqrt{n})$。
• 该方法实现了去噪效果，显著降低了噪声的影响，尽管未假设任何特定噪声分布。
• 分析中引入了一种新颖的双势函数耦合机制，使在解码不完美条件下的收敛性分析成为可能，这是关键的技术贡献。
• 该算法对复杂的噪声相关性具有鲁棒性，且无需知晓权重分布$x^*$，因此具有广泛适用性。