[论文解读] Notes on Low-rank Matrix Factorization

Lu, Yuan, Yang, Jie|arXiv (Cornell University)|Jun 30, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用 6

一句话总结

本文对低秩矩阵分解（MF）进行了全面的理论与算法综述，涵盖基础MF、非负MF以及正交非负MF。通过交替最小化和基于梯度的方法推导优化规则，证明了收敛性，并通过引入潜在空间增强与变换，将MF扩展至稀疏矩阵补全、正则化及半监督学习。

ABSTRACT

Low-rank matrix factorization (MF) is an important technique in data science. The key idea of MF is that there exists latent structures in the data, by uncovering which we could obtain a compressed representation of the data. By factorizing an original matrix to low-rank matrices, MF provides a unified method for dimension reduction, clustering, and matrix completion. In this article we review several important variants of MF, including: Basic MF, Non-negative MF, Orthogonal non-negative MF. As can be told from their names, non-negative MF and orthogonal non-negative MF are variants of basic MF with non-negativity and/or orthogonality constraints. Such constraints are useful in specific senarios. In the first part of this article, we introduce, for each of these models, the application scenarios, the distinctive properties, and the optimizing method. By properly adapting MF, we can go beyond the problem of clustering and matrix completion. In the second part of this article, we will extend MF to sparse matrix compeletion, enhance matrix compeletion using various regularization methods, and make use of MF for (semi-)supervised learning by introducing latent space reinforcement and transformation. We will see that MF is not only a useful model but also as a flexible framework that is applicable for various prediction problems.

研究动机与目标

• 系统性地综述并统一低秩矩阵分解的关键变体，包括基础MF、非负MF和正交非负MF。
• 为每种MF变体推导并证明具有收敛性保证的交替优化算法。
• 通过整合正则化和潜在空间变换，将MF扩展至稀疏矩阵补全和半监督学习。
• 展示MF作为统一框架在降维、聚类和预测任务中的灵活性。

提出的方法

• 基于Frobenius范数和Tikhonov正则化推导基础MF的优化规则，将目标函数转化为矩阵微积分可用的迹形式。
• 应用矩阵微积分和迹导数计算目标函数对U和V的梯度，从而实现交替梯度下降更新。
• 引入KKT条件和拉格朗日松弛法，推导U和V的乘法更新规则，尤其在存在非负性约束时。
• 提出一个综合模型，通过共享的用户特征变换矩阵W和V，联合预测转发行为、用户观点和情感。
• 通过将观点和情感建模为潜在用户表征的线性函数，实现潜在空间的增强与变换。
• 对W使用L1正则化，对Frobenius范数进行正则化，以实现稀疏且稳定的解。

实验结果

研究问题

• RQ1 如何系统性地将低秩矩阵分解扩展以引入非负性和正交性约束？其对可解释性和稳定性有何影响？
• RQ2 非负MF和正交非负MF中交替优化的收敛性质及更新规则是什么？
• RQ3 如何通过缺失数据和正则化，将矩阵分解适配于稀疏矩阵补全？
• RQ4 MF通过整合观点和情感等辅助变量，如何扩展以支持半监督学习？
• RQ5 潜在空间变换与增强在提升MF进行多任务预测能力方面发挥什么作用？

主要发现

• 论文推导出在非负性约束下保证收敛的U和V的闭式乘法更新规则，利用KKT条件和拉格朗日松弛法。
• 优化框架支持批量和随机更新策略，后者通过基于单个条目更新，实现更高的数据效率。
• 在稀疏矩阵补全中，模型引入二值掩码O以处理缺失条目，目标函数调整为仅考虑观测数据。
• 综合模型（公式56）通过共享潜在用户表征FW^T，统一了转发预测、观点建模和情感分析，实现联合学习。
• 当λ₁设为无穷大时，模型强制FW^T = O，表明观点驱动转发和情感，验证了因果假设。
• 对W使用L1正则化可促进稀疏性，而对W、V和S使用Tikhonov正则化则确保数值稳定性与泛化能力。