[论文解读] Total Least Squares Regression in Input Sparsity Time

Huaian Diao, Zhao Song+2 more|arXiv (Cornell University)|Sep 27, 2019

Statistical and numerical algorithms被引用 4

一句话总结

该论文提出了一种新颖的总最小二乘（TLS）回归算法，其运行时间在输入稀疏性时间内，以 $(1+\epsilon)$-近似解的形式实现，运行时间为 $\widetilde{O}(\operatorname{nnz}(A) + \operatorname{nnz}(B)) + \operatorname{poly}(n/\epsilon) \cdot d$，且与大维度 $m$ 无关。该方法通过求解隐式系统避免显式低秩逼近，从而在大规模稀疏矩阵上实现高效的 TLS 计算。

ABSTRACT

In the total least squares problem, one is given an $m imes n$ matrix $A$, and an $m imes d$ matrix $B$, and one seeks to "correct" both $A$ and $B$, obtaining matrices $\hat{A}$ and $\hat{B}$, so that there exists an $X$ satisfying the equation $\hat{A}X = \hat{B}$. Typically the problem is overconstrained, meaning that $m \gg \max(n,d)$. The cost of the solution $\hat{A}, \hat{B}$ is given by $\|A-\hat{A}\|_F^2 + \|B - \hat{B}\|_F^2$. We give an algorithm for finding a solution $X$ to the linear system $\hat{A}X=\hat{B}$ for which the cost $\|A-\hat{A}\|_F^2 + \|B-\hat{B}\|_F^2$ is at most a multiplicative $(1+ε)$ factor times the optimal cost, up to an additive error $η$ that may be an arbitrarily small function of $n$. Importantly, our running time is $ ilde{O}( \mathrm{nnz}(A) + \mathrm{nnz}(B) ) + \mathrm{poly}(n/ε) \cdot d$, where for a matrix $C$, $\mathrm{nnz}(C)$ denotes its number of non-zero entries. Importantly, our running time does not directly depend on the large parameter $m$. As total least squares regression is known to be solvable via low rank approximation, a natural approach is to invoke fast algorithms for approximate low rank approximation, obtaining matrices $\hat{A}$ and $\hat{B}$ from this low rank approximation, and then solving for $X$ so that $\hat{A}X = \hat{B}$. However, existing algorithms do not apply since in total least squares the rank of the low rank approximation needs to be $n$, and so the running time of known methods would be at least $mn^2$. In contrast, we are able to achieve a much faster running time for finding $X$ by never explicitly forming the equation $\hat{A} X = \hat{B}$, but instead solving for an $X$ which is a solution to an implicit such equation. Finally, we generalize our algorithm to the total least squares problem with regularization.

研究动机与目标

• 解决传统总最小二乘方法在 $m$ 较大时计算效率低下的问题，特别是在 $m \gg n,d$ 的情况下。
• 设计一种方法，以 $(1+\epsilon)$-近似解求解总最小二乘问题，而无需显式计算 $[A,B]$ 的秩-$n$ 低秩逼近。
• 将算法扩展至支持正则化，以在病态或噪声环境下提升鲁棒性。
• 实现运行时间仅依赖于 $A$ 和 $B$ 的非零元素数量，以及对 $n$ 和 $1/\epsilon$ 的多项式依赖，而非对 $m$ 的依赖。

提出的方法

• 该算法使用随机化压缩技术，隐式求解 TLS 问题，而无需显式构造 $[A,B]$ 的低秩逼近。
• 通过子采样哈达玛变换或其他稀疏投影方法，构建组合矩阵 $C = [A,B]$ 的压缩表示。
• 通过求解从压缩矩阵导出的隐式线性系统来求解 $X$，避免显式计算 $\widehat{A}$ 和 $\widehat{B}$。
• 利用 SVD 和低秩逼近的性质，确保解 $X$ 满足在总代价 $\|A - \widehat{A}\|_F^2 + \|B - \widehat{B}\|_F^2$ 下，$\|\widehat{A}X - \widehat{B}\|_F^2$ 最小化。
• 对于正则化情形，引入因子分解形式 $\widehat{C} = \widehat{U}\widehat{V}$，并在 $\widehat{U}, \widehat{V}$ 上优化，结合 Tikhonov 正则化。
• 该算法确保输出代价以高概率在最优代价的 $1+\epsilon$ 范围内，外加一个任意小的加性误差 $\eta$。

实验结果

研究问题

• RQ1 是否可以在输入稀疏性时间内求解总最小二乘回归，即运行时间与 $m$ 无关？
• RQ2 是否可能在不显式计算 $[A,B]$ 的秩-$n$ 近似的情况下，实现 $(1+\epsilon)$-近似 TLS 解？
• RQ3 如何在保持近似保证的前提下，将正则化整合进快速 TLS 算法中？
• RQ4 能否使算法在稀疏输入矩阵上高效运行，特别是当 $\operatorname{nnz}(A)$ 和 $\operatorname{nnz}(B)$ 较小时？

主要发现

• 该算法运行时间为 $\widetilde{O}(\operatorname{nnz}(A) + \operatorname{nnz}(B)) + \operatorname{poly}(n/\epsilon) \cdot d$，与 $m$ 无关，适用于大规模问题。
• 解的代价以高概率在最优总最小二乘代价的 $1+\epsilon$ 因子内，外加一个任意小的加性误差 $\eta$。
• 通过求解隐式系统避免显式逼近 $[A,B]$ 的低秩结构，使计算速度优于标准 SVD 方法。
• 对于正则化 TLS 问题，算法输出的解在代价上与最优解相差不超过 $1+\epsilon$，包含正则化项。
• 在一个 $m=10$，$n=5$ 的小例子中，真实 TLS 代价为 1，算法在多次运行中输出的代价分别为 3.4、4.3 和 5.5455，表明其具有实际收敛性。
• 在 1000 次运行的实验代价分布中，该算法频繁产生接近最优 TLS 代价的解，尤其在低秩稀疏场景下表现优异。