[论文解读] On the Convergence of Alternating Least Squares Optimisation in Tensor Format Representations

Mike Espig, Wolfgang Hackbusch+1 more|RWTH Publications (RWTH Aachen)|May 30, 2015

Tensor decomposition and applications参考文献 35被引用 24

一句话总结

本文通过利用张量表示的多线性结构，建立了交替最小二乘法（ALS）算法在张量格式逼近中的全局收敛性。在温和条件下证明了Q线性收敛性，并给出了收敛速率的精确解析表达式，该表达式在CP格式和张量列车格式上通过数值实验得到验证。

ABSTRACT

The approximation of tensors is important for the efficient numerical treatment of high dimensional problems, but it remains an extremely challenging task. One of the most popular approach to tensor approximation is the alternating least squares method. In our study, the convergence of the alternating least squares algorithm is considered. The analysis is done for arbitrary tensor format representations and based on the multiliearity of the tensor format. In tensor format representation techniques, tensors are approximated by multilinear combinations of objects lower dimensionality. The resulting reduction of dimensionality not only reduces the amount of required storage but also the computational effort.

研究动机与目标

• 建立张量格式表示中交替最小二乘法（ALS）算法的全局收敛性，克服先前局部收敛分析的局限性。
• 在低秩张量逼近的背景下分析收敛性，这对于高效求解高维问题至关重要。
• 基于张量格式的多线性本质，为ALS微步长提供严格的收敛速率描述。
• 通过推导不依赖Hessian矩阵核假设的收敛条件，解决张量表示中的非唯一性问题。
• 通过在合成数据和真实世界示例（包括甲烷两电子积分）上的数值实验，验证理论收敛速率。

提出的方法

• 利用张量格式表示的多线性结构推导收敛性质，避免依赖非线性高斯-赛德尔收敛理论。
• 将ALS算法视为在参数空间 $P = P_1 \times \cdots \times P_L$ 上的非线性优化方法，最小化二次泛函 $F = f \circ U$。
• 通过推导的线性算子的奇异值，推导ALS微步长的收敛速率，得到精确公式：$ q_\lambda = \frac{\lambda}{2}\left(3\lambda + \lambda^2 + \sqrt{(3\lambda + \lambda^2)^2 + 4\lambda}\right) $。
• 应用正交投影方法将ALS与最小二乘子问题关联，确保在参数空间中的稳定性和收敛性。
• 采用基于切线的角度度量 $ \tan\varphi_{k,l} $ 数值追踪参数空间中向真实解的收敛过程。
• 将理论收敛速率与合成数据和真实世界示例（包括甲烷两电子积分）的数值模拟结果进行对比验证。

实验结果

研究问题

• RQ1 在何种条件下，交替最小二乘法（ALS）算法对张量格式表示实现全局收敛？
• RQ2 能否基于张量格式的多线性结构，为ALS微步长的收敛速率推导出精确的解析表达式？
• RQ3 ALS的收敛行为如何依赖于初始猜测和目标张量的结构，特别是在存在主导分量的情况下？
• RQ4 收敛速率与张量 $ b_\lambda = \bigotimes_{\mu=1}^3 p + \lambda(p\otimes q\otimes q + \cdots) $ 中的参数 $ \lambda $ 之间存在何种关系？
• RQ5 理论收敛速率是否能在次线性和Q线性两种情形下被数值实验精确匹配？

主要发现

• 由于张量格式的多线性结构，即使Hessian矩阵非正定，ALS算法仍能全局收敛至泛函 $ F = f \circ U $ 的极小化点。
• 对于张量 $ b_2 = \bigotimes_{\mu=1}^3 \begin{pmatrix} 0 \\ 1 \end{pmatrix} $，ALS以Q超线性收敛，收敛速率 $ q_\mu = 0 $，表明收敛速度极快。
• 在 $ b_\lambda $ 示例中，收敛速率由 $ q_\lambda = \frac{\lambda}{2}\left(3\lambda + \lambda^2 + \sqrt{(3\lambda + \lambda^2)^2 + 4\lambda}\right) $ 给出；当 $ \lambda = 0.46 $ 时，$ q_{0.46} = 0.847 $，该结果已通过数值方法验证。
• 当 $ \lambda = 0.5 $ 时，收敛速率 $ q_{0.5} = 1 $，表明为次线性收敛；而当 $ \lambda < 0.5 $ 时，$ q_\lambda < 1 $，证实为Q线性收敛。
• 数值结果表明，理论收敛速率与观测到的比值 $ \frac{\tan\varphi_{1,k+1}}{\tan\varphi_{1,k}} $ 完全一致，验证了分析速率的精确性。
• 在甲烷两电子积分的实际示例中，ALS以Q线性收敛，证明了该方法在真实世界量子化学问题中的有效性。