[论文解读] Provable Learning of Overcomplete Latent Variable Models: Semi-supervised and Unsupervised Settings.

Animashree Anandkumar, Rong Ge+1 more|arXiv (Cornell University)|Aug 3, 2014

Machine Learning and Algorithms参考文献 19被引用 4

一句话总结

本文通过基于张量的矩方法，为过完备隐变量模型（特别是球面高斯混合与多视角混合模型）提供了可证明的学习保证。在半监督与无监督设置下建立了学习边界，样本复杂度保证分别满足 k = o(d)（半监督）与 k ≤ Cd（无监督），利用张量分解与新颖的覆盖论证方法。

ABSTRACT

We provide guarantees for learning latent variable models emphasizing on the overcomplete regime, where the dimensionality of the latent space can exceed the observed dimensionality. In particular, we consider spherical Gaussian mixtures and multiview mixtures models. Our algorithm is based on method of moments, and employs a tensor decomposition method for learning. In the semi-supervised setting, we exploit the label or prior information to get a rough estimate of the model parameters, and then refine it using the tensor method on unlabeled samples. We establish learning guarantees when the number of components scales as k = o(d), where d is the observed dimension, and p is the order of the observed moment employed in the tensor method. In the unsupervised setting, a simple initialization algorithm based on SVD of the tensor slices is proposed, and the guarantees are provided under the stricter condition that k ≤ Cd (where constant C can be larger than 1). We also provide tight sample complexity bounds through novel covering arguments.

研究动机与目标

• 为在过完备情形（即分量数 k 超过观测维度 d）下学习隐变量模型提供理论保证。
• 解决当 k > d 时在高维隐空间中学习的挑战，该情形对传统方法具有困难性。
• 利用张量分解与矩估计方法，为半监督与无监督设置建立样本复杂度边界。
• 在无监督设置下，通过张量切片的 SVD 构建稳健的初始化策略。

提出的方法

• 采用高阶矩（最高至 p 阶）的矩方法，通过张量分解估计模型参数。
• 在半监督设置中，利用标签信息获得初始参数估计，随后在无标签数据上使用张量方法进行精炼。
• 在无监督设置中，提出一种基于 SVD 的张量切片初始化方法，以启动学习过程。
• 应用新颖的覆盖论证方法，推导出两种设置下的紧密样本复杂度边界。
• 利用张量分解在球面高斯混合与多视角混合模型中识别隐变量分量。
• 分析在不同 k 与 d 下的学习误差与收敛性，明确体现对矩阶 p 的依赖关系。

实验结果

研究问题

• RQ1 我们能否在 k = o(d) 的条件下，为过完备隐变量模型实现可证明的学习保证？
• RQ2 在半监督设置中，如何利用标签信息改进张量精炼前的初始参数估计？
• RQ3 在无监督设置下，学习过完备模型所需的最小样本复杂度是多少？
• RQ4 矩阶 p 的选择如何影响学习保证与样本复杂度？
• RQ5 在无监督设置下，基于 SVD 的简单初始化能否实现可证明的收敛？

主要发现

• 本文在半监督设置下建立了当 k = o(d) 时的学习保证，表明在该量级下模型可高概率被学习。
• 在无监督设置下，当满足 k ≤ Cd（C 为可大于 1 的常数）时，实现了可证明的学习，表明其适用范围广于以往已知结果。
• 所提出的无监督设置下的 SVD 基初始化方法被证明有效，并在张量分解框架中实现稳定收敛。
• 通过新颖的覆盖论证方法推导出紧密的样本复杂度边界，量化了实现可靠估计所需的样本数量。
• 使用张量分解的矩方法即使在隐空间维度超过观测维度时，也能实现一致的参数估计。
• 通过形式化分析验证了理论结果，表明参数估计误差随样本量增加与合适的矩阶 p 而减小。