[论文解读] Polynomial-time Tensor Decompositions with Sum-of-Squares

Tengyu Ma, Jonathan Shi+1 more|arXiv (Cornell University)|Oct 6, 2016

Tensor decomposition and applications参考文献 3被引用 14

一句话总结

本文提出了一种基于平方和（sum-of-squares）的算法，用于多项式时间张量分解，在平滑分析模型下首次实现了对过度完备4阶张量的鲁棒、多项式时间保证，并将此前需准多项式时间解决的问题——如随机过度完备3阶张量的分解和常数稀疏度下的过度完备字典学习——降低至多项式时间。其关键创新在于通过熵启发的矩阵约束增强平方和松弛的谱分析，以确保矩矩阵中存在较小的谱间隙。

ABSTRACT

We give new algorithms based on the sum-of-squares method for tensor decomposition. Our results improve the best known running times from quasi-polynomial to polynomial for several problems, including decomposing random overcomplete 3-tensors and learning overcomplete dictionaries with constant relative sparsity. We also give the first robust analysis for decomposing overcomplete 4-tensors in the smoothed analysis model. A key ingredient of our analysis is to establish small spectral gaps in moment matrices derived from solutions to sum-of-squares relaxations. To enable this analysis we augment sum-of-squares relaxations with spectral analogs of maximum entropy constraints.

研究动机与目标

• 开发一种在过度完备设置下（即分量数量超过维度）的张量分解的多项式时间算法。
• 在张量分解中实现对噪声的鲁棒性，特别是针对过度完备4阶张量的平滑分析模型。
• 改进先前针对随机过度完备3阶张量和常数稀疏度下过度完备字典学习的准多项式时间算法。
• 通过分析伪分布导出的矩矩阵中的谱间隙，建立对平方和松弛的理论保证。

提出的方法

• 该算法使用平方和松弛在张量分量上构造伪分布，从而实现在高阶矩上的凸优化。
• 关键技术在于将平方和松弛与最大熵约束的谱类比相结合，以控制谱范数并确保矩矩阵中存在较小的谱间隙。
• 通过从伪分布导出的矩矩阵的矩阵对角化实现取样，恢复近似张量分量。
• 该方法采用两阶段过程，结合张量幂方法和矩阵幂方法：首先恢复导出矩阵的主特征向量，然后通过张量迭代进行精炼。
• 分析中引入了一种基于特征值交错和大数集中律的新谱间隙论证方法，利用高斯随机性放大成功概率。
• 为实现完整分量恢复，算法执行多次独立试验，并利用快速矩阵乘法实现 O(d^{1+ω}) 的运行时间，其中 ω 为矩阵乘法指数。

实验结果

研究问题

• RQ1 平方和松弛能否用于在过度完备情形下实现多项式时间张量分解，特别是针对秩高达 d^{3/2}/log^O(1)(d) 的3阶张量？
• RQ2 在输入受小随机扰动影响的平滑分析模型下，是否可能为过度完备4阶张量分解提供鲁棒保证？
• RQ3 如何通过谱约束增强平方和松弛，以确保矩矩阵中存在较小的谱间隙，从而实现有效的取样？
• RQ4 该框架能否扩展以处理具有分离或近乎各向同性分量的张量？其带来的精度与运行时间权衡如何？
• RQ5 当放松分量向量的各向同性假设时，误差容忍度与成功概率之间的权衡是什么？

主要发现

• 本文首次在平滑分析模型下实现了对过度完备4阶张量鲁棒分解的多项式时间算法，解决了关键开放问题。
• 对于随机过度完备3阶张量（秩 n ≤ d^{3/2}/log^O(1)(d)），该算法可在多项式时间内运行，优于先前的准多项式时间保证。
• 在谱范数误差界下，该算法以高概率恢复每个分量向量，误差不超过 1/(2d) + ||T - ∑a_i^{⊗3}||_{{1},{2},{3}}。
• 所有分量的恢复运行时间为 O(d^{1+ω}) · (log d)^{O(1)}，其中 ω 为矩阵乘法指数，通过快速矩阵乘法和并行化实现。
• 通过重复该过程 (log d)^{O(1)} 次，可将算法的成功概率放大至 Ω(1)，同时保持多项式运行时间。
• 该方法在矩矩阵中提供了至少 1 + 1/log d 的主特征值与第二特征值之间的谱间隙，从而通过幂方法实现稳定恢复。