[论文解读] Scalable Robust Matrix Factorization with Nonconvex Loss

Quanming Yao, James T. Kwok|arXiv (Cornell University)|Oct 19, 2017

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种可扩展的鲁棒矩阵分解算法 RMFNL，采用非凸损失函数（例如，对数-求和惩罚、Geman、Laplace）代替凸的 $β_1$ 或 $β_2$ 损失，以提升对异常值的鲁棒性。该方法采用分量最小化（MM）框架，并结合双域加速近端梯度优化，能够高效处理稀疏数据，并收敛至临界点，在合成数据集和真实世界数据集上的准确率与速度均优于当前最先进方法。

ABSTRACT

Robust matrix factorization (RMF), which uses the $\ell_1$-loss, often outperforms standard matrix factorization using the $\ell_2$-loss, particularly when outliers are present. The state-of-the-art RMF solver is the RMF-MM algorithm, which, however, cannot utilize data sparsity. Moreover, sometimes even the (convex) $\ell_1$-loss is not robust enough. In this paper, we propose the use of nonconvex loss to enhance robustness. To address the resultant difficult optimization problem, we use majorization-minimization (MM) optimization and propose a new MM surrogate. To improve scalability, we exploit data sparsity and optimize the surrogate via its dual with the accelerated proximal gradient algorithm. The resultant algorithm has low time and space complexities and is guaranteed to converge to a critical point. Extensive experiments demonstrate its superiority over the state-of-the-art in terms of both accuracy and scalability.

研究动机与目标

• 提升矩阵分解对异常值的鲁棒性，超越 $β_1$ 或 $β_2$ 损失所能达到的水平。
• 解决现有鲁棒矩阵分解求解器在可扩展性方面的局限性，特别是其无法有效利用数据稀疏性的问题。
• 为非凸、非光滑矩阵分解问题设计一种高效优化框架，并提供理论收敛保证。
• 实现在大规模、稀疏真实世界数据集（如推荐系统和运动结构重建）中的实际部署。

提出的方法

• 提出一种非凸损失函数（例如，对数-求和惩罚、Geman、Laplace），其在大残差时趋于平坦，相比 $β_1$ 损失能显著提升对异常值的鲁棒性。
• 应用分量最小化（MM）技术，构建非凸目标函数的凸近似，确保下降行为。
• 将 MM 近似转化为对偶形式，以支持使用加速近端梯度（APG）算法进行高效优化。
• 通过设计仅在观测条目上运行的 APG 算法，有效利用数据稀疏性，降低时间和空间复杂度。
• 采用 Clarke 次微分分析，提出新的收敛性分析，证明即使在非凸条件下，算法仍能收敛至临界点。
• 将 MM 与 APG 框架整合为统一算法，命名为 RMFNL，实现可扩展且鲁棒的矩阵分解。

实验结果

研究问题

• RQ1 非凸损失函数是否能在矩阵分解中实现超越 $β_1$ 损失的异常值鲁棒性？
• RQ2 能否为非凸矩阵分解设计一种可扩展的优化框架，以有效利用数据稀疏性？
• RQ3 所提出的 MM-APG 方法结合对偶域优化，是否能实现比现有求解器更快的收敛速度和更低的复杂度？
• RQ4 在非凸、非光滑目标函数下，该算法的收敛性是否能保证收敛至临界点？
• RQ5 在真实世界稀疏数据集上，该方法在准确率与速度方面与当前最先进方法相比表现如何？

主要发现

• 在 MovieLens 数据集上，RMFNL 取得了最佳测试 RMSE，优于 RMF-MM 和其他基线方法，在 MovieLens-1M 上为 0.884 ± 0.001，在 MovieLens-10M 上为 0.881 ± 0.003。
• 在 Dinosaur SfM 数据集上，RMFNL 实现了最低的 MAE（在 D3 上为 0.316 ± 0.006），且速度最快，最大子集仅耗时 3.4 ± 1.0 秒。
• RMFNL 显著快于 RMF-MM，在稀疏 SfM 数据上将运行时间从数百秒缩短至 10 秒以内，同时提升了准确率。
• 通过在 APG 步骤中有效利用稀疏性，该算法实现了低的时间与空间复杂度，从而支持大规模问题的可扩展性。
• 通过 Clarke 次微分分析，理论上保证了收敛至临界点，其保证范围超越了以往基于凸 MM 方法的收敛性结果。
• 实验结果表明，非凸损失函数（如 LSP、Geman、Laplace）在多种数据集上均一致优于 $β_1$-损失，在准确率与鲁棒性方面表现更优。