[论文解读] Provable Tensor Methods for Learning Mixtures of Classifiers.

Hanie Sedghi, Anima Anandkumar|arXiv (Cornell University)|Dec 9, 2014

Machine Learning and Algorithms被引用 5

一句话总结

该论文提出了一种可证明一致的张量分解方法，通过利用输入的高阶得分函数特征来学习分类器的混合模型。通过构建标签与这些得分函数之间的交叉矩张量，该方法在温和的非退化假设下保证了混合组件的恢复，确立了特征学习在关联混合模型中一致估计中的必要性。

ABSTRACT

We consider the problem of learning associative mixtures for classification and regression problems, where the output is modeled as a mixture of conditional distributions, conditioned on the input. In contrast to approaches such as expectation maximization (EM) or variational Bayes, which can get stuck in bad local optima, we present a tensor decomposition method which is guaranteed to correctly recover the parameters. The key insight is to learn score function features of the input, and employ them in a moment-based approach for learning associative mixtures. Specifically, we construct the cross-moment tensor between the label and higher order score functions of the input. We establish that the decomposition of this tensor consistently recovers the components of the associative mixture under some simple non-degeneracy assumptions. Thus, we establish that feature learning is the critical ingredient for consistent estimation of associative mixtures using tensor decomposition approaches.

研究动机与目标

• 解决传统方法（如EM和变分贝叶斯）在学习关联混合分类器时存在的局部最优问题。
• 开发一种方法，确保在分类和回归任务中一致恢复混合组件。
• 阐明特征学习（特别是得分函数特征）在通过张量分解实现一致估计中的作用。
• 建立所提出的基于张量的方法成功恢复真实混合组件的理论条件。

提出的方法

• 构建标签与输入特征高阶得分函数之间的交叉矩张量。
• 使用基于矩的张量分解来估计关联混合模型的参数。
• 采用从输入分布导出的得分函数特征以增强可识别性和一致性。
• 利用交叉矩张量的多线性结构来解耦并恢复各个混合组件。
• 对构建的张量应用张量分解技术（如典型多维（CP）分解）以实现组件恢复。
• 在混合组件和得分函数的温和非退化假设下，确保参数恢复的一致性。

实验结果

研究问题

• RQ1 基于张量的方法是否能在避免陷入局部最优的情况下，一致地恢复关联混合模型分类器的参数？
• RQ2 输入的高阶得分函数特征在通过张量分解实现一致估计中起到什么作用？
• RQ3 标签与得分函数之间的交叉矩张量在何种条件下能够实现混合组件的精确恢复？
• RQ4 与EM或变分贝叶斯相比，该方法在收敛性和可识别性方面的理论保证如何？

主要发现

• 在温和的非退化假设下，所提出的张量方法可保证一致恢复关联混合模型的参数。
• 通过得分函数表示进行的特征学习在基于张量的混合学习中实现一致估计至关重要。
• 标签与高阶得分函数之间的交叉矩张量捕获了足够的多线性结构，以识别混合组件。
• 该方法通过依赖代数分解而非迭代优化，避免了EM和变分贝叶斯固有的局部最优问题。
• 理论分析证实，当模型可识别时，所构建张量的分解能唯一恢复混合组件。
• 该方法为学习条件分布的混合模型提供了可证明的替代方案，优于启发式优化方法。