[论文解读] Sample Complexity Analysis for Learning Overcomplete Latent Variable Models through Tensor Methods

Animashree Anandkumar, Rong Ge+1 more|arXiv (Cornell University)|Aug 3, 2014

Machine Learning and Algorithms参考文献 32被引用 18

一句话总结

本文为学习过完备隐变量模型（如多视角混合模型、ICA、高斯混合模型和稀疏编码）建立了理论保证，采用张量分解方法。结果表明，在满足非一致性条件且经验矩具有紧密集中性时，即使在过完备情形下，通过张量幂迭代法也能实现高效且样本高效的恢复，其中 $ k = o(d^{p/2}) $，$ d $ 为观测维度，$ p $ 为矩的阶数。

ABSTRACT

We provide guarantees for learning latent variable models emphasizing on the overcomplete regime, where the dimensionality of the latent space can exceed the observed dimensionality. In particular, we consider multiview mixtures, spherical Gaussian mixtures, ICA, and sparse coding models. We provide tight concentration bounds for empirical moments through novel covering arguments. We analyze parameter recovery through a simple tensor power update algorithm. In the semi-supervised setting, we exploit the label or prior information to get a rough estimate of the model parameters, and then refine it using the tensor method on unlabeled samples. We establish that learning is possible when the number of components scales as $k=o(d^{p/2})$, where $d$ is the observed dimension, and $p$ is the order of the observed moment employed in the tensor method. Our concentration bound analysis also leads to minimax sample complexity for semi-supervised learning of spherical Gaussian mixtures. In the unsupervised setting, we use a simple initialization algorithm based on SVD of the tensor slices, and provide guarantees under the stricter condition that $k\le βd$ (where constant $β$ can be larger than $1$), where the tensor method recovers the components under a polynomial running time (and exponential in $β$). Our analysis establishes that a wide range of overcomplete latent variable models can be learned efficiently with low computational and sample complexity through tensor decomposition methods.

研究动机与目标

• 为填补过完备隐变量模型学习中的理论空白，这些模型在实践中广泛应用，但缺乏正式保证。
• 在隐变量维度超过观测维度的过完备情形下，建立基于张量学习的样本复杂度边界。
• 利用新颖的覆盖论证，为经验矩张量提供严格的集中性边界。
• 开发一种半监督与无监督学习框架，基于张量分解并具备可证明的恢复保证。
• 表明非一致性条件可使学习问题适定化，并通过张量方法实现高效恢复。

提出的方法

• 利用从无标签样本中估计的高阶矩张量，通过张量分解实现参数恢复。
• 采用张量幂迭代算法对成分估计进行迭代优化，更新方式根据张量结构选择对称或非对称形式。
• 提出一种新颖的覆盖论证，推导出经验矩张量的紧密集中性边界，确保对采样波动的鲁棒性。
• 在半监督设置中，利用标签数据获得粗略初始化，随后通过无标签数据和张量方法进行精化。
• 在无监督设置中，使用张量切片的SVD进行初始化，但收敛需更严格的过完备性边界。
• 对成分施加非一致性条件，以避免冗余并确保在过完备情形下的可辨识性。

实验结果

研究问题

• RQ1 能否保证张量分解方法在成分数量超过观测维度的过完备隐变量模型中实现学习？
• RQ2 使用张量方法学习球形高斯混合模型及其他过完备模型时，最紧致的样本复杂度是多少？
• RQ3 在半监督设置中，如何有效利用标签信息以提升过完备模型的样本效率与收敛性？
• RQ4 何种非一致性条件可确保张量分解在过完备情形下恢复真实模型参数？
• RQ5 在无监督张量学习中，过完备性（成分数量）与样本复杂度之间存在何种权衡？

主要发现

• 本文证明，当成分数量 $ k $ 满足 $ k = o(d^{p/2}) $ 时，学习是可行的，其中 $ d $ 为观测维度，$ p $ 为矩的阶数。
• 通过新颖的覆盖论证，推导出经验张量的紧密集中性边界，从而实现样本复杂度保证。
• 在半监督设置中，该方法在球形高斯混合模型上达到了极小极大样本复杂度，与理论下界一致。
• 在无监督学习中，该张量方法在更严格的条件 $ k \neq O(d) $ 下可多项式时间恢复成分，当 $ k \neq \beta d $ 时，运行时间随 $ \beta $ 指数增长。
• 对成分施加的非一致性条件确保了可辨识性，并支持在高度过完备设置下实现高效恢复。
• 分析结果表明，包括 ICA、稀疏编码和多视角混合模型在内的多种过完备模型，均可通过张量方法以低计算与样本复杂度实现学习。