[论文解读] Tensor Ring Decomposition

Qibin Zhao, Guoxu Zhou+3 more|arXiv (Cornell University)|Jun 17, 2016

Tensor decomposition and applications参考文献 53被引用 303

一句话总结

介绍张量环(TR)分解，一种循环的、置换不变的张量网络模型，推广张量 train并使多种低秩近似高阶张量的学习算法成为可能。它包括 TR-SVD、TR-ALS、带自适应秩的 TR-ALS，以及分块式 ALS，并在合成数据和真实数据上有实验。

ABSTRACT

Tensor networks have in recent years emerged as the powerful tools for solving the large-scale optimization problems. One of the most popular tensor network is tensor train (TT) decomposition that acts as the building blocks for the complicated tensor networks. However, the TT decomposition highly depends on permutations of tensor dimensions, due to its strictly sequential multilinear products over latent cores, which leads to difficulties in finding the optimal TT representation. In this paper, we introduce a fundamental tensor decomposition model to represent a large dimensional tensor by a circular multilinear products over a sequence of low dimensional cores, which can be graphically interpreted as a cyclic interconnection of 3rd-order tensors, and thus termed as tensor ring (TR) decomposition. The key advantage of TR model is the circular dimensional permutation invariance which is gained by employing the trace operation and treating the latent cores equivalently. TR model can be viewed as a linear combination of TT decompositions, thus obtaining the powerful and generalized representation abilities. For optimization of latent cores, we present four different algorithms based on the sequential SVDs, ALS scheme, and block-wise ALS techniques. Furthermore, the mathematical properties of TR model are investigated, which shows that the basic multilinear algebra can be performed efficiently by using TR representaions and the classical tensor decompositions can be conveniently transformed into the TR representation. Finally, the experiments on both synthetic signals and real-world datasets were conducted to evaluate the performance of different algorithms.

研究动机与目标

• 促使需要一种灵活、可扩展的张量分解，超越 TT，通过解决置换敏感性和刚性秩结构来实现。
• 定义张量环(TR)模型及其数学性质，包括圆周不变性和基于迹的输出。
• 开发并比较多种算法（TR-SVD、TR-ALS、带自适应秩的 TR-ALS，以及 BALS）以学习 TR 表示。
• 分析 TR 如何与经典分解联系并证明基础性质。
• 展示在合成数据和真实世界数据集上的经验性能。

提出的方法

• 将 TR 分解定义为 T(i1,...,id) = Tr{Z1(i1) Z2(i2) ... Zd(id)}，其中核张量 Zi 的大小为 ri x ni x r(i+1)。
• 通过迹操作显示圆周维度置换不变性，从而实现环状核之间的连接。
• 提供四种学习算法：TR-SVD（序贯奇异值分解）用于非迭代的低秩近似；TR-ALS（交替最小二乘）用于固定秩；带自适应秩的 TR-ALS（ALSAR）用于自动秩增长；以及分块式 ALS（BALS），通过分块合并和截断的 SVD 实现秩自适应。
• 推导与模态 k 展开和子链的关系，并给出优化核张量的更新规则。
• 讨论在某些条件下 TR 如何简化为 TT，以及如何用 TR 表示执行基本的多线性代数。

实验结果

研究问题

• RQ1 如何将张量表示为一个置换不变、循环相连的环结构以克服 TT 的局限性？
• RQ2 哪些学习算法能够高效地计算或近似 TR 分解并具备可控的精度？
• RQ3 TR 秩如何影响近似质量，秩是否可以在学习过程中自动自适应？
• RQ4 TR 如何与现有分解（CP、Tucker、TT）相关，以及哪些理论属性能实现高效计算？
• RQ5 基于 TR 的方法在合成数据和真实世界数据集上的表现是否优于传统张量分解？

主要发现

• TR 分解将高阶张量表示为一系列圆环状的三阶核，并对其乘积求迹。
• TR 模型提供循环维度置换不变性，并可被视为 TT 分解的线性组合。
• 开发了四种学习算法：TR-SVD、TR-ALS、带自适应秩的 TR-ALS，以及 BALS，能够在精度和计算之间实现不同的权衡。
• TR 表示需要 O(d n r^2) 参数，随张量阶数 d 的增加而可扩展。
• TR-SVD 提供一种非迭代近似，通过模态-1 展开和序贯 SVD 来控制相对误差。
• 在合成数据和真实世界数据集上的实验验证了所提出的算法（在摘要摘录中未提供具体结果）。