[论文解读] Weighted Low Rank Matrix Approximation and Acceleration

Elena Tuzhilina, Trevor Hastie|arXiv (Cornell University)|Sep 22, 2021

Sparse and Compressive Sensing Techniques参考文献 20被引用 4

一句话总结

本文提出了一种加权低秩矩阵近似（WLRMA）框架，通过引入元素级权重，将标准低秩矩阵近似和矩阵补全问题进行推广。该框架采用一种近似梯度算法，并结合Nesterov动量与Anderson加速两种技术，在合成数据和真实世界MovieLens数据上均表现出更快的收敛速度，尤其在低秩解的求解中优势显著。

ABSTRACT

Low-rank matrix approximation is one of the central concepts in machine learning, with applications in dimension reduction, de-noising, multivariate statistical methodology, and many more. A recent extension to LRMA is called low-rank matrix completion (LRMC). It solves the LRMA problem when some observations are missing and is especially useful for recommender systems. In this paper, we consider an element-wise weighted generalization of LRMA. The resulting weighted low-rank matrix approximation technique therefore covers LRMC as a special case with binary weights. WLRMA has many applications. For example, it is an essential component of GLM optimization algorithms, where an exponential family is used to model the entries of a matrix, and the matrix of natural parameters admits a low-rank structure. We propose an algorithm for solving the weighted problem, as well as two acceleration techniques. Further, we develop a non-SVD modification of the proposed algorithm that is able to handle extremely high-dimensional data. We compare the performance of all the methods on a small simulation example as well as a real-data application.

研究动机与目标

• 通过引入元素级权重，将标准低秩矩阵近似（LRMA）和低秩矩阵补全（LRMC）进行推广，使方法能更广泛地适用于观测值具有非均匀置信度或精度的问题。
• 开发一种高效算法以求解加权LRMA问题，尤其适用于存在缺失数据或观测可靠性差异的场景。
• 通过引入Nesterov动量与Anderson加速，提升基线交替最小二乘法（ALS）的收敛速度，特别适用于高维或稀疏矩阵。
• 通过非SVD的瘦矩阵重构方法实现可扩展计算，避免完整SVD计算，支持极高维数据的处理。

提出的方法

• 将WLRMA建模为凸松弛问题：最小化残差的加权Frobenius范数，同时加入核范数正则项，利用权重矩阵编码观测的置信度或精度。
• 设计一种近似梯度下降算法求解WLRMA问题，通过交替最小二乘法对低秩因子矩阵$A$和$B$进行更新，并引入软阈值化处理。
• 在ALS框架中引入Nesterov加速，通过利用前一迭代的动量信息，加快收敛速度。
• 通过将WLRMA问题重构成固定点迭代，并采用Krylov子空间方法，实现Anderson加速以提升收敛效率。
• 实现一种非SVD变体，仅保留瘦型因子矩阵（$A \times k$，$B \times k$），并通过在这些小矩阵上顺序执行SVD来计算秩，从而降低计算开销。
• 采用受保护的Anderson加速策略，确保每一步迭代中目标函数值充分下降，提升算法稳定性。

实验结果

研究问题

• RQ1 能否构建一个统一框架，通过引入元素级权重，同时推广标准低秩近似与矩阵补全问题？
• RQ2 在高维或稀疏场景下，如何提升迭代式WLRMA求解器的收敛速度？
• RQ3 与标准交替最小二乘法相比，Nesterov加速或Anderson加速在WLRMA中的收敛速度与稳定性表现如何？
• RQ4 能否通过非SVD的瘦矩阵重构方法，实现在无需完整SVD计算的前提下，将WLRMA扩展至极高维数据？

主要发现

• 所提出的WLRMA框架可统一涵盖标准LRMA与LRMC作为特例，其中缺失数据使用二值权重，而一般权重则用于基于置信度的建模。
• 在MovieLens数据集上，Anderson加速（深度$m=3$）在$ ho=5$与$ ho=20$的低秩解中，收敛速度优于基线ALS与Nesterov加速。
• 对于$ ho=70$（更高秩），Nesterov加速在$ ho=10^{-4}$精度下略优于Anderson加速，但两种加速方法均显著快于基线ALS。
• 非SVD的瘦矩阵重构方法实现了无需完整SVD的高效矩阵秩计算与低秩近似，显著降低了每轮迭代的计算成本。
• 受保护的Anderson加速确保了目标函数的单调下降，提升了实际应用中的稳定性与可靠性。
• 在MovieLens数据集上（$6000 \times 4000$，5%观测率），所有加速方法均于5分钟内达到$ ho=10^{-4}$精度，其中Anderson加速在低秩解中表现最佳。