[论文解读] Sharper Bounds for Regularized Data Fitting

Haim Avron, Kenneth L. Clarkson+1 more|arXiv (Cornell University)|Nov 10, 2016

Sparse and Compressive Sensing Techniques参考文献 28被引用 4

一句话总结

本文通过在算法复杂度中用统计维数替代秩，为线性回归、低秩逼近和典型相关分析中的正则化矩阵压缩提出了更紧致的资源界限。结果表明，岭正则化可实现更快的算法，运行时间取决于最优解的统计维数，该维数始终小于或等于矩阵的秩，并随正则化程度增加而减小。

ABSTRACT

We study matrix sketching methods for regularized variants of linear regression, low rank approximation, and canonical correlation analysis. Our main focus is on sketching techniques which preserve the objective function value for regularized problems, which is an area that has remained largely unexplored. We study regularization both in a fairly broad setting, and in the specific context of the popular and widely used technique of ridge regularization; for the latter, as applied to each of these problems, we show algorithmic resource bounds in which the {\em statistical dimension} appears in places where in previous bounds the rank would appear. The statistical dimension is always smaller than the rank, and decreases as the amount of regularization increases. In particular, for the ridge low-rank approximation problem $\min_{Y,X} \lVert YX - A Vert_F^2 + λ\lVert Y Vert_F^2 + λ\lVert X Vert_F^2$, where $Y\in\mathbb{R}^{n imes k}$ and $X\in\mathbb{R}^{k imes d}$, we give an approximation algorithm needing \[ O(\mathtt{nnz}(A)) + ilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_λ(Y^*)\})+ \mathtt{poly}(\mathtt{sd}_λ(Y^*) \varepsilon^{-1}) \] time, where $s_λ(Y^*)\le k$ is the statistical dimension of $Y^*$, $Y^*$ is an optimal $Y$, $\varepsilon$ is an error parameter, and $\mathtt{nnz}(A)$ is the number of nonzero entries of $A$.This is faster than prior work, even when $λ=0$. We also study regularization in a much more general setting. For example, we obtain sketching-based algorithms for the low-rank approximation problem $\min_{X,Y} \lVert YX - A Vert_F^2 + f(Y,X)$ where $f(\cdot,\cdot)$ is a regularizing function satisfying some very general conditions (chiefly, invariance under orthogonal transformations).

研究动机与目标

• 通过在资源界限中用统计维数替代秩，开发针对正则化问题的更快矩阵压缩算法。
• 将基于压缩的方法扩展到一大类正则化问题，包括岭回归、低秩逼近和典型相关分析。
• 建立理论保证，确保在不施加输入数据分布假设的前提下，压缩过程能保持目标函数值。
• 提供运行时间依赖于最优解统计维数的高效算法，其界限比基于秩的界限更紧致。
• 使用随机奇异值逼近技术，在线性时间内估计统计维数。

提出的方法

• 使用稀疏嵌入和采样随机哈达玛变换（SRHT）构建保持子空间和仿射嵌入的压缩矩阵。
• 应用压缩矩阵 $ S $，使得对所有 $ x $ 都有 $ \|SAx\|_2 \approx \|Ax\|_2 $，从而确保目标函数的保持。
• 通过稀疏嵌入与 SRHT 的乘积分阶段构建压缩矩阵，以实现小压缩规模和快速计算。
• 通过基于 SVD 的变换将低秩逼近问题转化为对角情形，从而在基础情形下实现高效计算。
• 使用随机算法以加法误差估计矩阵 $ A $ 的前 $ O(M) $ 个奇异值，从而实现统计维数的估计。
• 利用统计维数 $ \operatorname{sd}_\lambda(A) = \sum_{i=1}^k \frac{1}{1 + \lambda / \sigma_i^2} $ 推导界限，该量在复杂度界限中替代了秩。

实验结果

研究问题

• RQ1 基于压缩的正则化问题算法能否通过用统计维数替代秩，实现改进的资源界限？
• RQ2 岭正则化如何影响低秩逼近和回归问题中的压缩规模与运行时间？
• RQ3 压缩方法能否推广到在正交变换下不变的正则化问题？
• RQ4 估计矩阵的统计维数的计算成本是多少，能否在 $ O(\operatorname{nnz}(A)) $ 时间内完成？
• RQ5 能否仅使用 $ O(\operatorname{nnz}(A)) $ 时间和常数概率，将统计维数估计到常数因子以内？

主要发现

• 对于岭正则化低秩逼近，算法运行时间为 $ O(\operatorname{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k\min\{k, \varepsilon^{-1} \operatorname{sd}_\lambda(Y^*)\}) + \mathrm{poly}(\operatorname{sd}_\lambda(Y^*)\varepsilon^{-1}) $，其中 $ \operatorname{sd}_\lambda(Y^*) $ 为最优解 $ Y^* $ 的统计维数。
• 统计维数 $ \operatorname{sd}_\lambda(A) $ 始终不超过秩，并随 $ \lambda $ 增大而减小，从而带来更紧致的界限。
• 当 $ \lambda = 0 $ 时，界限退化为一种形式，即使在无正则化情况下，仍优于先前工作。
• 矩阵 $ A $ 的统计维数可在 $ O(\operatorname{nnz}(A)) $ 时间内以常数概率估计到常数因子以内。
• 对于在正交变换下不变的正则化器，基于压缩的算法在统计维数上实现了运行时间界限。
• 压缩矩阵构造确保 $ SA $ 可在 $ O(\operatorname{nnz}(A)) $ 时间内计算，且行数较少，从而实现线性时间性能。