[论文解读] Nesterov Acceleration of Alternating Least Squares for Canonical Tensor Decomposition

Drew Mitchell, Nan Ye+1 more|arXiv (Cornell University)|Oct 13, 2018

Tensor decomposition and applications被引用 7

一句话总结

该论文提出了一种带有自适应重启机制的Nesterov加速交替最小二乘法（ALS），用于canonical张量分解，解决了非凸设置下的收敛不稳定性问题。该方法显著提升了收敛速度和鲁棒性，尤其在病态条件或高精度问题上表现更优，优于标准ALS、Nesterov梯度方法以及现有的加速技术（如NCG、NGMRES和LBFGS），同时实现更简单的代码实现。

ABSTRACT

We present Nesterov-type acceleration techniques for Alternating Least Squares (ALS) methods applied to canonical tensor decomposition. While Nesterov acceleration turns gradient descent into an optimal first-order method for convex problems by adding a momentum term with a specific weight sequence, a direct application of this method and weight sequence to ALS results in erratic convergence behaviour. This is so because the tensor decomposition problem is non-convex and ALS is accelerated instead of gradient descent. Instead, we consider various restart mechanisms and suitable choices of momentum weights that enable effective acceleration. Our extensive empirical results show that the Nesterov-accelerated ALS methods with restart can be dramatically more efficient than the stand-alone ALS or Nesterov accelerated gradient methods, when problems are ill-conditioned or accurate solutions are desired. The resulting methods perform competitively with or superior to existing acceleration methods for ALS, including ALS acceleration by NCG, NGMRES, or LBFGS, and additionally enjoy the benefit of being much easier to implement. We also compare with Nesterov-type updates where the momentum weight is determined by a line search, which are equivalent or closely related to existing line search methods for ALS. On a large and ill-conditioned 71$ imes$1000$ imes$900 tensor consisting of readings from chemical sensors to track hazardous gases, the restarted Nesterov-ALS method shows desirable robustness properties and outperforms any of the existing methods by a large factor. There is clear potential for extending our Nesterov-type acceleration approach to accelerating other optimization algorithms than ALS applied to other non-convex problems, such as Tucker tensor decomposition. Our Matlab code is available at this https URL.

研究动机与目标

• 解决直接应用Nesterov加速在非凸张量分解问题中导致的收敛不稳定性问题。
• 为canonical张量分解中的ALS开发一种稳定且高效的加速框架。
• 提升收敛速度与解的精度，尤其针对病态条件或高精度问题。
• 为复杂拟牛顿法或非线性共轭梯度法提供一种更简单的替代方案。
• 探索将Nesterov型加速推广至其他非凸张量问题（如Tucker分解）的潜力。

提出的方法

• 将Nesterov型动量引入ALS而非梯度下降，针对非凸优化调整动量权重序列。
• 采用重启机制以稳定收敛过程，防止在非凸设置下出现异常行为。
• 在部分变体中使用线搜索确定动量权重，使其与ALS的既定线搜索方法建立联系。
• 采用改进的更新规则，结合当前迭代点与基于历史迭代点和权重序列的动量项。
• 实现一种动态重启策略，在收敛停滞或发散时重置动量。
• 在合成数据和真实世界数据上验证了该方法，包括一个71×1000×900的大规模传感器张量。

实验结果

研究问题

• RQ1 Nesterov加速能否在非凸张量分解的ALS中有效应用而不破坏收敛稳定性？
• RQ2 何种重启机制与动量权重序列可实现非凸ALS中的稳定且快速收敛？
• RQ3 与标准ALS及其他加速方法（如NCG、NGMRES和LBFGS）相比，Nesterov加速ALS在性能与鲁棒性方面表现如何？
• RQ4 该方法在大规模、病态条件的张量问题上是否仍保持高效与稳定？
• RQ5 该方法能否推广至canonical分解之外的其他非凸张量优化问题？

主要发现

• 重启的Nesterov-ALS方法在病态条件和高精度张量分解任务中显著优于标准ALS和Nesterov加速梯度方法。
• 在71×1000×900的化学传感器张量上，该方法展现出卓越的鲁棒性与性能，大幅优于所有现有方法。
• 所提方法在性能上与NCG、NGMRES和LBFGS相当或更优，且实现复杂度显著更低。
• 基于线搜索的动量权重与ALS的既定线搜索方法等价或密切相关，验证了方法的合理性。
• 该方法在推广至其他非凸张量问题（如Tucker张量分解）方面展现出明确潜力。
• 实证结果证实，Nesterov动量与重启机制的结合能有效稳定非凸设置下的收敛过程并加速优化进展。