[论文解读] Provable Tensor Methods for Learning Mixtures of Generalized Linear Models

Hanie Sedghi, Majid Janzamin+1 more|arXiv (Cornell University)|Dec 9, 2014

Tensor decomposition and applications参考文献 28被引用 11

一句话总结

该论文提出了一种可证明的张量方法，用于学习广义线性模型（GLMs）的混合模型，通过利用输入的三阶得分函数变换并将其与响应变量进行互相关。在温和的非退化条件下，该方法通过张量分解保证了GLM分量参数的一致恢复，样本复杂度和计算复杂度均为输入维数和潜在维数的低阶多项式。

ABSTRACT

We consider the problem of learning mixtures of generalized linear models (GLM) which arise in classification and regression problems. Typical learning approaches such as expectation maximization (EM) or variational Bayes can get stuck in spurious local optima. In contrast, we present a tensor decomposition method which is guaranteed to correctly recover the parameters. The key insight is to employ certain feature transformations of the input, which depend on the input generative model. Specifically, we employ score function tensors of the input and compute their cross-correlation with the response variable. We establish that the decomposition of this tensor consistently recovers the parameters, under mild non-degeneracy conditions. We demonstrate that the computational and sample complexity of our method is a low order polynomial of the input and the latent dimensions.

研究动机与目标

• 为解决EM和变分贝叶斯等启发式方法在学习GLM混合模型时容易收敛到虚假局部最优解的局限性。
• 开发一种方法，保证在GLM混合模型中实现模型参数的一致恢复，克服传统基于优化方法中局部最优解的陷阱。
• 通过针对输入分布量身定制的得分函数变换，将矩方法范式扩展至非线性模型。
• 为GLM混合模型中的参数恢复建立样本复杂度和计算效率的理论保证。

提出的方法

• 该方法采用三阶得分函数张量 $\mathcal{S}_3(x)$，其来源于输入概率密度函数的归一化三阶导数，作为特征变换。
• 构建响应变量 $y$ 与输入得分函数之间的交叉矩张量 $\mathbb{E}[y \cdot \mathcal{S}_3(x)]$，该张量编码了底层GLM分量的信息。
• 对这一交叉矩张量应用张量分解，以恢复GLM分量的权重向量 $\{u_i\}$，仅保留尺度因子。
• 采用白化处理对张量进行预处理，通过幂迭代法实现高效且稳定的谱分解。
• 算法使用鲁棒的张量幂方法，结合多次随机初始化和阈值处理，以识别并提取所有对应于混合分量的秩-1分量。
• 张量分解后，应用一次最终的EM步骤，以精炼未归一化的权重，并在不假设归一化的情况下完全恢复模型参数。

实验结果

研究问题

• RQ1 在温和的非退化假设下，基于张量的方法能否一致地恢复GLM混合模型的参数？
• RQ2 为何三阶得分函数对于一致恢复是必要的，而二阶得分函数则不足以实现？
• RQ3 该张量方法实现 $\epsilon$-精确恢复GLM分量权重所需的样本复杂度是多少？
• RQ4 该方法在输入维数 $d$、分量数量 $r$ 和权重矩阵的最小奇异值 $s_{\min}(U)$ 方面的扩展性如何？
• RQ5 该方法能否与EM结合，以在初始张量分解仅恢复权重尺度因子时，完全恢复归一化权重？

主要发现

• 在温和的非退化条件下，通过分解交叉矩张量 $\mathbb{E}[y \cdot \mathcal{S}_3(x)]$，该方法保证了GLM分量权重向量 $\{u_i\}$ 的一致恢复。
• 实现 $\epsilon$-精确恢复所需的样本复杂度为 $\tilde{O}\left(\frac{d^3 r^4}{\epsilon^2 s_{\min}^2(U)}\right)$，该复杂度为 $d$、$r$ 和 $1/\epsilon$ 的低阶多项式。
• 二阶得分函数 $\mathcal{S}_2(x)$ 仅能将分量识别到子空间范围内，因此必须使用三阶张量才能实现完全恢复。
• 当分量数量超过输入维数时，可使用更高阶得分函数（如四阶）以保持一致性。
• 张量分解具有鲁棒性和可扩展性，幂方法可避免虚假局部最优解，且该方法具有天然并行性。
• 将张量初始化与EM结合可显著提升收敛性，并在高维设置下实现归一化权重的完全恢复。