[论文解读] Recursive Importance Sketching for Rank Constrained Least Squares: Algorithms and High-order Convergence

Yuetian Luo, Wen Huang+2 more|arXiv (Cornell University)|Nov 17, 2020

Sparse and Compressive Sensing Techniques参考文献 95被引用 7

一句话总结

本文提出 RISRO，一种无需调参的算法，用于通过递归重要性压缩（recursive importance sketching）实现秩约束最小二乘问题求解——这是一种基于递归投影的确定性压缩框架。RISRO 实现了局部二次和二次-线性收敛速率，在速度和精度上优于现有方法，并与固定秩矩阵上的黎曼高斯-牛顿优化建立了深层联系。

ABSTRACT

In this paper, we propose {\it \underline{R}ecursive} {\it \underline{I}mportance} {\it \underline{S}ketching} algorithm for {\it \underline{R}ank} constrained least squares {\it \underline{O}ptimization} (RISRO). The key step of RISRO is recursive importance sketching, a new sketching framework based on deterministically designed recursive projections, which significantly differs from the randomized sketching in the literature \citep{mahoney2011randomized,woodruff2014sketching}. Several existing algorithms in the literature can be reinterpreted under this new sketching framework and RISRO offers clear advantages over them. RISRO is easy to implement and computationally efficient, where the core procedure in each iteration is to solve a dimension-reduced least squares problem. We establish the local quadratic-linear and quadratic rate of convergence for RISRO under some mild conditions. We also discover a deep connection of RISRO to the Riemannian Gauss-Newton algorithm on fixed rank matrices. The effectiveness of RISRO is demonstrated in two applications in machine learning and statistics: low-rank matrix trace regression and phase retrieval. Simulation studies demonstrate the superior numerical performance of RISRO.

研究动机与目标

• 高效求解非凸、NP-难的秩约束最小二乘问题，并提供可证明的收敛性保证。
• 通过直接施加秩约束，克服凸松弛方法的局限性，如高计算成本和庞大的参数空间。
• 开发一种每轮迭代复杂度与一阶方法相当，但收敛速度优于现有非凸求解器的算法。
• 在温和条件下建立理论收敛速率——二次和二次-线性收敛，优于先前工作的线性收敛。
• 在低秩矩阵恢复任务（包括迹回归和相位恢复）中展示出强大的经验性能。

提出的方法

• 提出一种新颖的压缩框架——递归重要性压缩，使用确定性设计的递归投影，而非随机压缩。
• 在每次迭代中，在由压缩过程识别出的低维子空间上求解降维的最小二乘问题。
• 通过将迭代点投影到动态更新的低秩流形上来利用固定秩矩阵的结构。
• 通过保持与交替最小化和一阶方法相同的每轮迭代复杂度（当 $ r \lt p_1, p_2, n $ 时），确保计算效率。
• 将 RISRO 与固定秩流形上的黎曼高斯-牛顿算法联系起来，揭示其更深层的几何解释。
• 在模拟中使用谱初始化，并在受限等距性（RIP）和强初始化假设下对收敛性进行理论分析。

实验结果

研究问题

• RQ1 非凸优化算法在秩约束最小二乘问题中能否在保持低每轮迭代成本的同时实现高阶收敛（如二次收敛）？
• RQ2 与随机压缩相比，递归重要性压缩在收敛速度和稳定性方面表现如何？
• RQ3 在温和假设下，RISRO 的理论收敛速率是多少？是否实现了二次或二次-线性收敛？
• RQ4 RISRO 能否与固定秩流形上的黎曼优化框架（如高斯-牛顿）建立联系？
• RQ5 RISRO 是否需要超参数调优？与当前最先进的低秩恢复方法相比，其实际表现如何？

主要发现

• 在温和条件下，RISRO 实现了局部二次-线性收敛和二次收敛速率，显著快于先前算法的线性收敛。
• 当 $\kappa = 1$ 时，对于相对 RMSE 为 $10^{-10}$ 的目标，RISRO 仅需约五轮迭代和 1/5 的运行时间，相较于其他算法具有显著优势，且在病态情况（$\kappa = 500$）下速度提升更为显著。
• 在低秩矩阵迹回归中，RISRO 的收敛速度优于 SVP、交替最小化、梯度下降和核范数最小化，尤其在噪声环境（$\sigma = 10^{-6}$）下表现更优。
• 在相位恢复任务中，RISRO 恢复真实信号的精度高，且耗时远少于 Wirtinger Flow (WF) 和 Truncated Wirtinger Flow (TWF)，仿真图清晰展示了这一优势。
• 在矩阵迹回归和相位恢复任务中，RISRO 达到成功恢复（相对 RMSE < $10^{-2}$）所需的样本量最小，优于其他算法。
• 实验结果表明，RISRO 在矩阵补全和鲁棒 PCA 任务中实现了二次收敛，表明理论保证可能超越当前基于 RIP 的分析范围。