[论文解读] Second-order optimization for tensors with fixed tensor-train rank

Michael Psenka, Nicolas Boumal|arXiv (Cornell University)|Nov 26, 2020

Tensor decomposition and applications参考文献 7被引用 4

一句话总结

本论文首次实现了对固定张量列车（TT）秩张量流形上黎曼海森矩阵的高效计算，使得可通过黎曼信赖域方法实现二阶优化。该方法在低秩张量补全任务中相比一阶方法和交替最小二乘法（ALS）实现了更快的收敛速度和更优的性能，计算复杂度为 O(d²nr³)。

ABSTRACT

There are several different notions of "low rank" for tensors, associated to different formats. Among them, the Tensor Train (TT) format is particularly well suited for tensors of high order, as it circumvents the curse of dimensionality: an appreciable property for certain high-dimensional applications. It is often convenient to model such applications as optimization over the set of tensors with fixed (and low) TT rank. That set is a smooth manifold. Exploiting this fact, others have shown that Riemannian optimization techniques can perform particularly well on tasks such as tensor completion and special large-scale linear systems from PDEs. So far, however, these optimization techniques have been limited to first-order methods, likely because of the technical hurdles in deriving exact expressions for the Riemannian Hessian. In this paper, we derive a formula and efficient algorithm to compute the Riemannian Hessian on this manifold. This allows us to implement second-order optimization algorithms (namely, the Riemannian trust-region method) and to analyze the conditioning of optimization problems over the fixed TT rank manifold. In settings of interest, we show improved optimization performance on tensor completion compared to first-order methods and alternating least squares (ALS). Our work could have applications in training of neural networks with tensor layers. Our code is freely available.

研究动机与目标

• 解决在固定张量列车（TT）秩张量流形上缺乏二阶优化方法的问题。
• 通过在TT流形上计算黎曼海森矩阵，实现优化中的超线性局部收敛。
• 开发一种高效算法，用于计算张量补全及相关问题的黎曼海森矩阵。
• 在低秩张量补全任务中，展示该方法相比一阶方法和交替最小二乘法（ALS）具有更优的收敛性和性能表现。
• 通过在低秩张量流形上实现稳健的二阶优化，推动其在机器学习中的应用，包括具有张量层的神经网络训练。

提出的方法

• 利用黎曼几何与张量列车结构，推导出固定TT秩张量流形上黎曼海森矩阵的精确公式。
• 利用张量列车格式，将海森矩阵表示为核心张量与接口矩阵的形式，实现高效计算。
• 设计一种算法，通过前向与后向传播遍历TT核心，利用递归矩阵乘积计算海森矩阵作用。
• 利用TT格式的结构特性，在 O(d²nr³) 次操作内计算交叉项与海森矩阵-向量乘积，避免完整海森矩阵的构建。
• 将海森矩阵计算集成至 Manopt 工具箱，用于黎曼信赖域方法。
• 通过在TT流形上构建优化问题并利用海森矩阵，将该方法应用于张量补全任务，实现更优的收敛性能。

实验结果

研究问题

• RQ1 能否在固定张量列车秩张量流形上高效计算黎曼海森矩阵？
• RQ2 在TT流形上进行二阶优化是否能实现比一阶方法更快的收敛速度和更优的性能表现？
• RQ3 计算TT结构张量的黎曼海森矩阵作用的计算复杂度是多少？
• RQ4 在低秩张量补全任务中，黎曼信赖域方法与交替最小二乘法及一阶方法相比性能如何？
• RQ5 在具有张量层的神经网络训练等机器学习任务中，TT流形上的二阶优化能否实现实际应用？

主要发现

• 本论文成功推导并实现了在固定TT秩流形上计算黎曼海森矩阵的高效算法，使二阶优化成为可能。
• 海森矩阵-向量乘积的计算复杂度为 O(d²nr³)，具有良好的可扩展性，适用于高阶张量。
• 数值实验表明，黎曼信赖域方法在低秩张量补全任务中相比一阶方法和ALS实现了更快的收敛速度和更优的性能。
• 该方法展现出超线性局部收敛特性，验证了在TT流形上二阶优化的理论优势。
• 实现代码已公开，支持可复现性，并可推广至偏微分方程和具有张量层的神经网络等其他应用。
• 在病态条件或高维设置下，该方法在解的精度和收敛速度方面均优于现有方法。