[论文解读] Perturbation Analysis and Randomized Algorithms for Large-Scale Total Least Squares Problems

Pengpeng Xie, Yimin Wei+1 more|arXiv (Cornell University)|Jan 27, 2014

Statistical and numerical algorithms参考文献 28被引用 6

一句话总结

本文提出了一种针对总体最小二乘（TLS）问题的新且更紧致的扰动界，并引入了三种随机化算法——Rtls、Rttls 和 Arttls——以高效求解大规模的良态与病态 TLS 问题。通过利用随机 SVD 近似 TLS 解，显著降低了计算成本，同时保持了高精度，所提方法在速度上显著优于传统的基于 SVD 的方法，尤其适用于大规模病态系统。

ABSTRACT

In this paper, we present perturbation analysis and randomized algorithms for the total least squares (TLS) problems. We derive the perturbation bound and check its sharpness by numerical experiments. Motivated by the recently popular probabilistic algorithms for low-rank approximations, we develop randomized algorithms for the TLS and the truncated total least squares (TTLS) solutions of large-scale discrete ill-posed problems, which can greatly reduce the computational time and still keep good accuracy.

研究动机与目标

• 推导一种新的、可数值计算的总体最小二乘（TLS）问题扰动界，其紧致程度优于现有界。
• 证明先前提出的三种 TLS 条件数公式在数学上等价。
• 开发高效的随机化算法，用于求解大规模 TLS 与截断 TLS（TTLS）问题，计算成本更低。
• 利用基于随机 SVD 的方法，为病态 TLS 问题提供自适应与固定精度的解法策略，确保精度。
• 为大规模离散病态问题提供一种可扩展、高性能的替代方案，以取代传统的基于 SVD 的 TLS 求解器。

提出的方法

• 利用增广矩阵 $[A, b]$ 的奇异值与右奇异向量，推导出一种新的 TLS 问题相对扰动界，改进了先前的一阶估计。
• 通过克罗内克积与基于 SVD 的表达式，建立先前工作中提出的三种不同条件数公式（Baboulin & Gratton, Li & Jia, Zhou et al.）之间的数学等价性。
• 提出 Rtls 算法：一种基于随机 SVD 的随机化 TLS 求解器，用于近似计算 $[A, b]$ 的完整 SVD，从而降低计算复杂度。
• 引入 Rttls：一种随机化截断 TLS 算法，通过 $A$ 的随机 SVD 估计截断参数，随后将其应用于 $[A, b]$，实现高效的 TTLS 求解。
• 开发 Arttls：一种自适应随机化算法，通过迭代增加采样次数，直至满足用户定义的容差，确保在最小计算量下实现解的精度。
• 采用随机 SVD 技术近似大型矩阵的主要奇异子空间，从而在无需完整 SVD 的情况下，实现快速且精确的 TLS 求解。

实验结果

研究问题

• RQ1 如何为总体最小二乘问题推导出更紧致且可数值计算的扰动界？
• RQ2 此前由 Baboulin & Gratton、Li & Jia 以及 Zhou et al. 提出的三种不同 TLS 条件数公式是否在数学上等价？
• RQ3 能否有效利用随机 SVD 加速大规模 TLS 与截断 TLS 问题的求解，同时保持精度？
• RQ4 如何利用随机化算法高效估计大规模病态系统中截断 TLS 的正则化参数？
• RQ5 自适应随机化算法是否能在显著降低计算时间的前提下，实现与传统基于 SVD 的方法相当甚至更高的精度？

主要发现

• 所提出的扰动界显著优于现有的一阶估计，且可数值计算，经数值实验验证。
• Baboulin & Gratton、Li & Jia 与 Zhou et al. 提出的三种条件数公式在数学上等价，解决了先前公式的模糊性。
• Rtls 算法相比经典基于 SVD 的 TLS 求解器，计算时间最多减少 90%，且所有测试案例的相对误差均低于 10⁻²。
• Rttls 算法在 $m=5000$ 的矩阵上，计算时间低于 2 秒，相对误差小于 10⁻²，而完整 SVD 的计算时间超过 170 秒。
• Arttls 自适应算法在相对误差低于 10⁻¹ 的前提下，相比传统 TTLS 求解器，计算时间最多减少 70%。
• 对于病态问题（如 Phillips、I_Laplace 和 Heat），即使在高噪声水平（$\delta = 10^{-3}$）下，随机化算法仍保持稳定性能与高精度。