[论文解读] The average number of critical rank-one approximations to a tensor

Jan Draisma, Emil Horobeţ|arXiv (Cornell University)|Aug 15, 2014

Tensor decomposition and applications参考文献 16被引用 4

一句话总结

该论文利用随机矩阵理论，通过一种新颖的公式将高维积分简化为低维积分，计算了从高斯分布中抽取的随机张量的实临界秩一逼近的期望数量。主要贡献是给出了一个涉及对称矩阵积分的闭式表达式，数值结果明确显示，随着张量尺寸增大，临界点的平均数量迅速增长，尤其在对称情况下更为显著。

ABSTRACT

Motivated by the many potential applications of low-rank multi-way tensor approximations, we set out to count the rank-one tensors that are critical points of the distance function to a general tensor v. As this count depends on v, we average over v drawn from a Gaussian distribution, and find formulas that relates this average to problems in random matrix theory.

研究动机与目标

• 确定在高斯分布下，一般张量的实临界秩一逼近的期望数量。
• 解决临界点数量随张量变化而变化的问题，使得单一计数不可行。
• 推导一个将张量空间上的高维积分简化为低维积分的公式，利用随机矩阵理论。
• 将实临界点计数与 [FO12] 中已知的复数计数进行比较，揭示其行为与增长特性的差异。

提出的方法

• 通过在张量空间上对临界点数量进行高斯测度积分，推导实临界点期望数量的表达式。
• 将原始的 N 维积分（N = ∏ni）简化为一个维度为 1 + ∑i<j(ni−1)(nj−1) 的空间上的低维积分，参数化为 w0 和矩阵 Cij。
• 利用随机矩阵理论的工具，特别是高斯矩阵的绝对行列式分布，来计算简化后的积分。
• 应用 Kuznetsov 轨迹公式及 [Mui82] 的结果，计算涉及特征值和范德蒙德行列式的积分。
• 利用对称性与不变性性质，简化对称矩阵空间上的积分。
• 使用蒙特卡洛采样方法，通过加倍样本量直至相对误差收敛至 10−4，对积分进行数值估计。

实验结果

研究问题

• RQ1 从标准高斯分布中抽取的随机张量，其期望实临界秩一逼近数量是多少？
• RQ2 实临界点的平均数量与 [FO12] 中已知的复数计数相比如何？
• RQ3 能否利用随机矩阵理论将张量空间上的高维积分简化为可处理的低维积分？
• RQ4 随着张量维度增大，临界点的平均数量是否趋于稳定或表现出特定渐近行为？
• RQ5 导致实数与复数临界点计数之间差异的几何或代数结构是什么？

主要发现

• 高斯张量的实临界秩一逼近的期望数量由一个积分公式给出，积分空间维度为 1 + ∑i<j(ni−1)(nj−1)，且包含依赖于 ni 和伽马函数的前因子。
• 对于对称张量，积分域显著缩小，使得利用 Mathematica 可实现精确的数值计算，得出如 p=4, n=4 时的精确估计值 9.3951。
• 在 2×2×2 情况下，实临界点的平均数量约为 4.287，远低于复数情况下的 6 个。
• 对于 2×2×k 格式，当 k≥4 时，平均数量稳定在 5.5–5.6 之间，表明存在复数情形中未观察到的饱和效应。
• 平均数量随张量尺寸迅速增长：在 2×2×10 情况下，达到约 1.843×10^4，远超复数情况下的 3,628,800。
• 结果表明，实临界点计数不会趋于稳定，而是持续增长，与复数情形中在边界格式后计数趋于稳定形成鲜明对比。