[论文解读] Tensor Estimation with Nearly Linear Samples.

Christina Lee Yu|arXiv (Cornell University)|Jul 1, 2020

Tensor decomposition and applications参考文献 26被引用 3

一句话总结

本文表明，对于具有常数正交CP秩且潜在因子向量和非零的低秩三阶张量的一个广泛子类，张量估计可在仅$O(n^{1+\beta})$个样本下实现，其中任意$\beta > 0$，接近线性样本复杂度。所提出的算法将先前$O(n^{3/2})$的样本需求显著降低至接近最优水平，表明在此张量类中计算上困难的实例极为稀少。

ABSTRACT

There is a conjectured computational-statistical gap in terms of the number of samples needed to perform tensor estimation. In particular, for a low rank 3-order tensor with $\Theta(n)$ parameters, Barak and Moitra conjectured that $\Omega(n^{3/2})$ samples are needed for polynomial time computation based on a reduction of a specific hard instance of a rank 1 tensor to the random 3-XOR distinguishability problem. In this paper, we take a complementary perspective and characterize a subclass of tensor instances that can be estimated with only $O(n^{1+\kappa})$ observations for any arbitrarily small constant $\kappa > 0$, nearly linear. If one considers the class of tensors with constant orthogonal CP-rank, the hardness of the instance can be parameterized by the minimum absolute value of the sum of latent factor vectors. If the sum of each latent factor vector is bounded away from zero, we present an algorithm that can perform tensor estimation with $O(n^{1+\kappa})$ samples for a $t$-order tensor, significantly less than the previous achievable bound of $O(n^{t/2})$, and close to the lower bound of $\Omega(n)$. This result suggests that amongst constant orthogonal CP-rank tensors, the set of computationally hard instances to estimate are in fact a small subset of all possible tensors.

研究动机与目标

• 探究在张量估计中所推测的计算-统计间隙是否可在特定张量子类中被关闭。
• 识别在何种条件下，张量估计可在接近线性样本数下实现，趋近于信息论下界$\Omega(n)$。
• 刻画常数正交CP秩张量中困难实例的集合，并表明其构成一个较小的子集。

提出的方法

• 作者聚焦于具有常数正交CP秩的张量，并定义了一个关键参数：潜在因子向量和的最小绝对值。
• 他们提出一种算法，利用非零和条件来稳定估计过程，从而实现在任意$\beta > 0$下，以$O(n^{1+\beta})$个样本实现收敛。
• 该方法依赖于张量潜在因子的结构分析，并利用因子向量的几何特性来降低样本复杂度。
• 该算法被推广至$t$阶张量，实现$O(n^{1+\beta})$的样本复杂度，远低于先前$O(n^{t/2})$的界限。
• 分析通过归约至随机3-XOR可区分性问题来定位困难性，但表明非退化实例可避开此障碍。

实验结果

研究问题

• RQ1 能否在张量的一个有意义子类中，以接近线性样本数（$O(n^{1+\beta})$）实现张量估计？
• RQ2 潜在因子的何种结构条件可使张量估计在少量样本下计算上可行？
• RQ3 潜在因子向量的和如何影响张量估计的样本复杂度？
• RQ4 所推测的$\Omega(n^{3/2})$样本复杂度下界对所有低秩张量是否紧致，还是仅对特定困难实例成立？
• RQ5 常数正交CP秩张量中有多少比例是计算上困难的，且能否对其进行刻画？

主要发现

• 对于具有常数正交CP秩且潜在因子向量和非零的$t$阶张量，估计可在$O(n^{1+\beta})$个样本下实现，其中任意$\beta > 0$，趋近于线性缩放。
• 该样本复杂度显著低于先前已知的最佳界$O(n^{t/2})$，尤其在$t=3$时，从$O(n^{3/2})$提升至$O(n^{1+\beta})$。
• 该结果意味着在此张量类中计算上困难的实例集合较小，因为困难实例要求因子向量和接近零。
• 即使秩为常数，该算法仍保持有效性，表明秩本身并不能决定样本复杂度。
• 该分析提供了一个结构性准则——非零因子和——可将此张量类中的易例与难例区分开来。