[论文解读] On Tensor Train Rank Minimization: Statistical Efficiency and Scalable Algorithm

Masaaki Imaizumi, Takanori Maehara+1 more|arXiv (Cornell University)|Aug 1, 2017

Tensor decomposition and applications参考文献 29被引用 23

一句话总结

本文提出了一种在张量补全任务中具有统计效率且可扩展的张量列车（TT）秩最小化方法。该方法引入了一种带有误差界估计的凸松弛，并开发了一种随机化交替最小二乘法（TT-RALS），将时间复杂度从张量阶数K的指数级降低至二次方级，同时保持理论保证和在真实世界数据上的实际性能。

ABSTRACT

Tensor train (TT) decomposition provides a space-efficient representation for higher-order tensors. Despite its advantage, we face two crucial limitations when we apply the TT decomposition to machine learning problems: the lack of statistical theory and of scalable algorithms. In this paper, we address the limitations. First, we introduce a convex relaxation of the TT decomposition problem and derive its error bound for the tensor completion task. Next, we develop an alternating optimization method with a randomization technique, in which the time complexity is as efficient as the space complexity is. In experiments, we numerically confirm the derived bounds and empirically demonstrate the performance of our method with a real higher-order tensor.

研究动机与目标

• 解决机器学习应用中张量列车（TT）分解缺乏统计理论的问题。
• 克服标准TT算法在大展开矩阵上进行SVD计算带来的高计算成本。
• 开发一种可扩展的优化算法，在保持低时间复杂度的同时维持统计性能。
• 为基于TT的张量补全建立与凸Tucker分解相当的理论误差界。
• 通过数值验证，展示该方法在真实高阶张量上的有效性。

提出的方法

• 利用Schatten-1范数正则化对TT秩最小化问题进行凸松弛，以支持统计分析。
• 推导基于凸TT公式的张量补全误差界，表明其统计效率与凸Tucker分解相当。
• 提出TT-RALS，一种通过利用低秩结构将时间复杂度从K的指数级降低至二次方级的随机化交替最小二乘算法。
• 将随机化技术集成到ADMM框架中，以加速收敛，同时保持理论误差保证。
• 采用模态优化与近端更新，结合交替方向乘子法，以处理随机化引入的非凸性。
• 应用压缩映射论证与矩阵扰动理论，对估计TT核心与真实核心之间的偏差进行上界估计。

实验结果

研究问题

• RQ1 TT分解的凸松弛能否为张量补全提供一个统计一致的估计器？
• RQ2 在凸松弛下，基于TT的张量补全的理论误差界是什么？
• RQ3 能否将TT分解的计算成本从K的指数级降低至多项式级？
• RQ4 尽管失去了全局收敛性，随机化交替最小二乘法（TT-RALS）是否仍能保持统计一致性？
• RQ5 与现有方法相比，该方法在真实世界高阶张量数据上的表现如何？

主要发现

• TT分解的凸松弛实现了与凸Tucker分解相似的误差界缩放，证实了其统计效率。
• TT-RALS算法将时间复杂度从K的指数级降低至二次方级，使其适用于高阶张量的可扩展处理。
• 尽管失去全局收敛性，TT-RALS仍保持与凸松弛方法相当的理论误差界。
• 数值实验验证了推导出的误差界在实际中成立，且该方法能准确恢复缺失的张量元素。
• 在真实高阶张量上的实证结果表明，该方法在真实场景中具有有效性和可扩展性。
• 该方法在统计精度与计算效率之间实现了良好的权衡，尤其在K较大时表现更优。