[论文解读] Uniqueness of Tensor Decompositions with Applications to Polynomial Identifiability

Aditya Bhaskara, Moses Charikar+1 more|arXiv (Cornell University)|Apr 30, 2013

Tensor decomposition and applications参考文献 26被引用 35

一句话总结

本文提出Kruskal张量分解唯一性定理的鲁棒版本，证明即使张量受到逆多项式误差的污染，低秩张量分解依然保持唯一可识别性。该结果使得在主题模型和HMM等潜变量模型中实现参数可识别性的多项式样本复杂度成为可能，克服了以往对非退化性的假设，并在更宽松的条件下实现了高效学习算法。

ABSTRACT

We give a robust version of the celebrated result of Kruskal on the uniqueness of tensor decompositions: we prove that given a tensor whose decomposition satisfies a robust form of Kruskal's rank condition, it is possible to approximately recover the decomposition if the tensor is known up to a sufficiently small (inverse polynomial) error. Kruskal's theorem has found many applications in proving the identifiability of parameters for various latent variable models and mixture models such as Hidden Markov models, topic models etc. Our robust version immediately implies identifiability using only polynomially many samples in many of these settings. This polynomial identifiability is an essential first step towards efficient learning algorithms for these models. Recently, algorithms based on tensor decompositions have been used to estimate the parameters of various hidden variable models efficiently in special cases as long as they satisfy certain "non-degeneracy" properties. Our methods give a way to go beyond this non-degeneracy barrier, and establish polynomial identifiability of the parameters under much milder conditions. Given the importance of Kruskal's theorem in the tensor literature, we expect that this robust version will have several applications beyond the settings we explore in this work.

研究动机与目标

• 在张量条目中存在逆多项式误差的条件下，建立Kruskal唯一性定理的鲁棒版本。
• 在以往方法需要非退化性假设的潜变量模型中，实现参数可识别性的多项式样本复杂度。
• 设计算法，从经验矩张量中以多项式数量的样本准确恢复张量分量。
• 将张量分解方法的适用范围扩展至观测维数小于隐藏状态数（n < R）的情形，这在语音和图像应用中很常见。
• 为在较弱结构假设下实现主题模型、HMM和高斯混合模型等模型的高效学习算法提供理论基础。

提出的方法

• 引入Kruskal秩条件的鲁棒形式，以确保在小扰动下张量分解的稳定性。
• 采用[HK13]中的一种新颖算法技术，以逆多项式精度估计协方差矩阵的最小奇异值，目标参数为信号强度σ。
• 应用定理5.6，从未完全已知的张量中恢复低秩分量（矩阵A、B、C）和权重{w_r}。
• 利用R个向量μ_i − Mom_1位于(R−1)维子空间中的事实，通过二阶矩矩阵的经验奇异值来估计σ。
• 设计两阶段算法：首先以逆多项式精度估计σ，然后利用鲁棒唯一性识别完整分解。
• 证明在鲁棒Kruskal条件下（k_A + k_B + k_C ≥ 2R + 2），仅需O(poly(n, R, 1/ε))组样本，即可从经验张量中唯一恢复分解。

实验结果

研究问题

• RQ1 当张量条目中存在逆多项式误差时，是否能保证张量分解的唯一性？
• RQ2 鲁棒Kruskal条件是否允许在潜变量模型学习中实现多项式样本复杂度？
• RQ3 当n < R时，是否可以设计出高效的张量分解算法，从而违反标准的非退化性假设？
• RQ4 是否能通过可高效计算的参数来验证张量分解的唯一性？
• RQ5 鲁棒唯一性结果能否推广至一般混合模型，如高斯分布和乘积分布？

主要发现

• 证明了Kruskal唯一性定理的鲁棒版本：若张量满足Kruskal秩条件的鲁棒形式，则其低秩分解可从含逆多项式误差的扰动版本中唯一恢复。
• 该鲁棒唯一性结果意味着在所有曾应用Kruskal原始定理的模型中（包括主题模型、HMM和高斯混合模型），均可实现多项式可识别性。
• 所提算法的时间复杂度为n^{Oδ(R²)}(nτ/γ)^{Oδ(1)}，并在σ和分量上实现逆多项式精度的恢复。
• 该方法即使在隐藏状态数R超过观测维数n（即R > n）的场景下，也能从多项式数量的样本中实现高效学习，这一情形在标准假设下曾被认为难以处理。
• 本工作确立了鲁棒Kruskal秩条件足以实现可识别性和高效学习，无需依赖非退化性条件（如n ≥ R）。
• 本研究结果为在远比以往要求更宽松的结构假设下，实现潜变量模型的高效学习算法打开了新途径。