[论文解读] Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model

Wenqi Wang, Vaneet Aggarwal+1 more|arXiv (Cornell University)|Sep 19, 2016

Tensor decomposition and applications参考文献 9被引用 30

一句话总结

本文提出了一种新颖的张量补全算法，通过张量列车（TT）格式的矩阵乘积态（MPS）表示进行交替最小化。通过利用谱初始化和高效的TT核心最小二乘更新，该方法在合成数据集和真实世界数据集上均实现了优于现有基于TT和低秩张量补全方法的恢复精度与更快的收敛速度。

ABSTRACT

Using the matrix product state (MPS) representation of tensor train decompositions, in this paper we propose a tensor completion algorithm which alternates over the matrices (tensors) in the MPS representation. This development is motivated in part by the success of matrix completion algorithms which alternate over the (low-rank) factors. We comment on the computational complexity of the proposed algorithm and numerically compare it with existing methods employing low rank tensor train approximation for data completion as well as several other recently proposed methods. We show that our method is superior to existing ones for a variety of real settings.

研究动机与目标

• 解决具有低秩结构的高阶张量中缺失条目恢复的挑战。
• 克服先前基于TT的补全方法未能充分挖掘结构化MPS表示的局限性。
• 通过基于可用数据的谱初始化，提升收敛速度与恢复精度。
• 设计一种针对TT分解张量列车格式量身定制的高效交替最小化框架。
• 提供一种计算上可行的算法，可扩展至真实世界的张量补全任务。

提出的方法

• 通过矩阵乘积态（MPS）表示，将张量补全建模为TT分解核心张量上的优化问题。
• 通过交替最小化策略，依次更新一个TT核心而固定其他核心，对每次更新求解一个最小二乘子问题。
• 基于可用数据采用谱初始化，以减少收敛所需的迭代次数。
• 利用张量展开操作（模式-k展开、左/右展开）高效计算更新并保持低秩结构。
• 利用张量连接积与基于迹的表示，确保TT核心更新的一致性。
• 通过在优化过程中利用TT格式的层次结构，确保数值稳定性和计算效率。

实验结果

研究问题

• RQ1 与现有基于TT的方法相比，对TT核心进行交替最小化是否能提升张量补全性能？
• RQ2 基于观测条目的谱初始化是否能加快基于TT的张量补全的收敛速度？
• RQ3 与最先进低秩张量补全算法相比，所提方法在恢复精度和计算效率方面表现如何？
• RQ4 在TT格式下，所提交替最小化算法的时间复杂度是多少？
• RQ5 该算法能否有效扩展至具有缺失条目的真实世界数据集？

主要发现

• 与现有基于TT和低秩张量补全方法相比，所提算法在合成数据集和真实世界数据集上均实现了更优的恢复精度。
• 谱初始化显著减少了收敛所需的迭代次数，提升了计算效率。
• 该方法在多种数据设置下表现出稳健性能，包括缺失率高达60%的情况。
• 计算复杂度被证明是可控且可扩展的，使该算法适用于大规模张量补全任务。
• 实证结果证实，利用TT分解中的MPS结构可带来更优的优化动态与更高的恢复质量。