[论文解读] Simple and practical algorithms for $\ell_p$-norm low-rank approximation

Anastasios Kyrillidis|arXiv (Cornell University)|May 24, 2018

Sparse and Compressive Sensing Techniques参考文献 41被引用 5

一句话总结

本文提出了一种简单、基于梯度的非凸算法，用于ℓ₁-和ℓ∞-范数低秩矩阵逼近，在已知或可近似的问题参数下，实现了(1+ε)-OPT的逼近保证。该方法结合了平滑技术与非凸优化，在实际实例中，其解的质量和速度均优于当前最先进方法，尽管并非无需超参数。

ABSTRACT

We propose practical algorithms for entrywise $\ell_p$-norm low-rank approximation, for $p = 1$ or $p = \infty$. The proposed framework, which is non-convex and gradient-based, is easy to implement and typically attains better approximations, faster, than state of the art. From a theoretical standpoint, we show that the proposed scheme can attain $(1 + \varepsilon)$-OPT approximations. Our algorithms are not hyperparameter-free: they achieve the desiderata only assuming algorithm's hyperparameters are known a priori---or are at least approximable. I.e., our theory indicates what problem quantities need to be known, in order to get a good solution within polynomial time, and does not contradict to recent inapproximabilty results, as in [46].

研究动机与目标

• 开发适用于p=1或p=∞的ℓₚ-范数低秩逼近的实用且高效的算法，其鲁棒性优于标准的ℓ₂（Frobenius）范数。
• 解决已知在某些复杂性假设下为NP难或不可逼近的ℓ₁-和ℓ∞-范数低秩逼近的计算不可行性问题。
• 设计一种方法，在关键问题参数已知或可近似的情况下，实现多项式时间复杂度下的高质量逼近（接近最优）。
• 提供一种在理论保证与实际性能之间取得平衡的框架，在经验评估中优于现有可证明方法与启发式方法。

提出的方法

• 该方法采用非凸、基于梯度的优化框架，以最小化逼近误差M - UVᵀ的逐元素ℓₚ-范数，其中p ∈ {1, ∞}。
• 利用凸优化中的平滑技术处理ℓ₁和ℓ∞范数的不可微性，从而实现梯度计算。
• 算法采用交替优化策略，对U和V进行更新，通过自适应步长的梯度下降步骤实现。
• 理论分析表明，在已知或可近似的参数（如秩、条件数）下，该方法可在多项式时间内实现(1+ε)-OPT逼近。
• 该方法设计易于实现且可扩展，避免了先前可证明方法中使用的复杂采样或随机投影技术。
• 该方法并非无需超参数：其性能依赖于对目标秩r及矩阵M谱性质等关键量的已知或近似知识。

实验结果

研究问题

• RQ1 一个简单、基于梯度的非凸算法能否实现ℓ₁-和ℓ∞-范数低秩逼近的(1+ε)-OPT逼近？
• RQ2 为确保在多项式时间内收敛至近似最优解，必须已知或可近似的特定问题参数有哪些？
• RQ3 在实际性能上，该方法与当前最先进可证明方法及启发式方法相比，在解的质量和运行时间方面表现如何？
• RQ4 该方法能否在鲁棒或量化设置下，实现优于SVD或现有启发式方法的逼近误差？

主要发现

• 在关键问题参数已知或可近似假设下，所提算法实现了ℓ₁-和ℓ∞-范数低秩逼近的(1+ε)-OPT逼近。
• 实验结果表明，该算法在解的质量上优于当前最先进方法，在ℓ∞-范数逼近中，尽管平均运行时间更长，但中位数目标值低于[17]。
• 在ℓ₁-范数逼近中，该算法在目标值上优于[9]和[46]，且在大规模矩阵上运行时间显著更快。
• 该算法在目标值上与SVD相当，但运行速度慢于SVD；然而，其在ℓ∞-范数问题上始终表现出低于[17]的中位数误差。
• 该方法并非无需超参数：其理论保证依赖于对秩和矩阵条件数等参数的先验知识或可近似性。
• 尽管在所有运行中未达到最佳最小目标值，但该算法展现出强大的典型性能，其在ℓ∞-范数任务上的中位数误差始终低于[17]。