[论文解读] Smoothed Analysis of Tensor Decompositions

Aditya Bhaskara, Moses Charikar+2 more|arXiv (Cornell University)|Nov 14, 2013

Tensor decomposition and applications参考文献 27被引用 11

一句话总结

本文提出一种平滑分析框架，用于研究在高度过完备情形（秩为维度的多项式）下张量分解的稳定性，证明了经扰动的向量张量积仍保持线性无关且奇异值具有鲁棒性。关键贡献在于提出一种多项式时间算法，实现逆多项式误差容限，从而实现对多视角模型和轴对齐高斯分布混合模型的稳定学习，其分量数量可超过维度数。

ABSTRACT

Low rank tensor decompositions are a powerful tool for learning generative models, and uniqueness results give them a significant advantage over matrix decomposition methods. However, tensors pose significant algorithmic challenges and tensors analogs of much of the matrix algebra toolkit are unlikely to exist because of hardness results. Efficient decomposition in the overcomplete case (where rank exceeds dimension) is particularly challenging. We introduce a smoothed analysis model for studying these questions and develop an efficient algorithm for tensor decomposition in the highly overcomplete case (rank polynomial in the dimension). In this setting, we show that our algorithm is robust to inverse polynomial error -- a crucial property for applications in learning since we are only allowed a polynomial number of samples. While algorithms are known for exact tensor decomposition in some overcomplete settings, our main contribution is in analyzing their stability in the framework of smoothed analysis. Our main technical contribution is to show that tensor products of perturbed vectors are linearly independent in a robust sense (i.e. the associated matrix has singular values that are at least an inverse polynomial). This key result paves the way for applying tensor methods to learning problems in the smoothed setting. In particular, we use it to obtain results for learning multi-view models and mixtures of axis-aligned Gaussians where there are many more "components" than dimensions. The assumption here is that the model is not adversarially chosen, formalized by a perturbation of model parameters. We believe this an appealing way to analyze realistic instances of learning problems, since this framework allows us to overcome many of the usual limitations of using tensor methods.

研究动机与目标

• 为解决在秩超过维度的过完备情形下张量分解的稳定性问题，该情形下传统算法失效。
• 形式化一种现实的参数扰动模型，以克服张量分解中的对抗性最坏情况困难。
• 开发一种高效算法，在逆多项式误差下保持鲁棒性，这对样本受限的学习应用至关重要。
• 为使用张量方法学习复杂生成模型（如轴对齐高斯分布混合模型）建立理论保证。
• 通过利用平滑分析和Khatri-Rao积条件数界，将张量分解的应用范围从满秩情形扩展至非满秩情形。

提出的方法

• 引入一种平滑分析模型，其中模型参数受到小的随机扰动，以模拟真实的数据生成过程。
• 证明经扰动的向量张量积线性无关，且奇异值下界为逆多项式，从而确保鲁棒性。
• 利用Kruskal秩和τ-鲁棒k-秩来刻画扰动下张量分解的稳定性。
• 通过Khatri-Rao积将高阶张量展平为三阶张量，以降低复杂度，同时保持分解结构。
• 通过求解由高阶矩导出的方程组，恢复混合成分的均值和权重，利用Khatri-Rao积矩阵的条件数。
• 通过求解涉及展平高阶矩的线性系统，恢复方差，利用扰动成分所形成的设计矩阵的良好条件性。

实验结果

研究问题

• RQ1 在秩为维度多项式的情形下，张量分解能否实现稳定且高效的计算？
• RQ2 平滑分析是否能提供一个可行的框架，以克服张量分解中的最坏情况困难？
• RQ3 鲁棒张量分解能否用于学习分量数超过维度的轴对齐高斯分布混合模型？
• RQ4 对扰动向量的最小条件是什么，可确保张量积在分解中保持良好条件性？
• RQ5 在逆多项式误差下，如何利用高阶矩恢复混合参数（均值、权重、方差）？

主要发现

• 该算法在高度过完备情形下实现了逆多项式误差容限，适用于样本受限的学习应用。
• 证明了经扰动的向量张量积线性无关，且奇异值下界为逆多项式，确保了鲁棒性。
• 由扰动成分构成的Khatri-Rao积矩阵的条件数至少为维度和扰动参数的逆多项式，从而支持稳定线性系统求解。
• 利用高阶矩张量和线性系统求解，可将轴对齐高斯分布混合模型的均值和混合权重恢复至逆多项式误差范围内。
• 通过求解由展平四阶矩导出的良好条件性线性系统，恢复方差，其误差受设计矩阵条件数的限制。
• 该框架使多视角模型和秩为维度多项式之混合模型的参数学习成为可能，突破了传统满秩限制。