[论文解读] When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity

Anima Anandkumar, Daniel Hsu+2 more|arXiv (Cornell University)|Aug 13, 2013

Tensor decomposition and applications参考文献 47被引用 17

一句话总结

本文通过高阶矩张量和Tucker分解中的结构化稀疏性，建立了过完备主题模型的通用可识别性条件。引入了主题持续性与完美$n$-元组匹配作为关键机制，即使主题数量超过词表大小，也能实现可识别性，并证明在温和条件下，随机结构化主题模型以高概率具有可识别性。

ABSTRACT

Overcomplete latent representations have been very popular for unsupervised feature learning in recent years. In this paper, we specify which overcomplete models can be identified given observable moments of a certain order. We consider probabilistic admixture or topic models in the overcomplete regime, where the number of latent topics can greatly exceed the size of the observed word vocabulary. While general overcomplete topic models are not identifiable, we establish generic identifiability under a constraint, referred to as topic persistence. Our sufficient conditions for identifiability involve a novel set of "higher order" expansion conditions on the topic-word matrix or the population structure of the model. This set of higher-order expansion conditions allow for overcomplete models, and require the existence of a perfect matching from latent topics to higher order observed words. We establish that random structured topic models are identifiable w.h.p. in the overcomplete regime. Our identifiability results allows for general (non-degenerate) distributions for modeling the topic proportions, and thus, we can handle arbitrarily correlated topics in our framework. Our identifiability results imply uniqueness of a class of tensor decompositions with structured sparsity which is contained in the class of Tucker decompositions, but is more general than the Candecomp/Parafac (CP) decomposition.

研究动机与目标

• 确定当主题数量超过词表大小时，过完备主题模型在何种条件下可从可观测的高阶矩中唯一识别。
• 解决过完备隐变量模型中非可识别性的根本挑战，该挑战一直阻碍高效可靠的特征学习。
• 引入并形式化主题持续性的概念，作为在过完备情形下实现可识别性的结构约束。
• 基于主题-词矩阵的组合与代数性质（特别是完美$n$-元组匹配和Kruskal秩），建立可识别性的充分条件。
• 通过分析具有结构化稀疏性的更广泛Tucker分解类，将张量分解唯一性结果从CP分解推广至更广范围。

提出的方法

• 提出$n$-持续主题模型，其中文档中$n$个连续词共享同一主题，引入局部结构以实现可识别性。
• 将完美$n$-元组匹配定义为对主题-词二分图的组合条件，确保每个主题可唯一关联至一个$n$个词的序列。
• 利用主题-词矩阵的高阶展开条件，确保模型的矩张量具有足够的秩结构以实现识别。
• 应用随机矩阵理论和概率界，证明随机结构化主题模型在高概率下满足所需条件。
• 利用Kruskal秩条件，确保在结构化稀疏性下Tucker型分解的唯一性。
• 将可识别性问题简化为在随机稀疏性和度数约束下，证明从主题-词矩阵导出的子矩阵具有满列秩。

实验结果

研究问题

• RQ1 在何种条件下，过完备主题模型可从可观测的高阶矩中实现通用可识别性？
• RQ2 主题持续性——即主题在词序列中的局部共现——如何影响过完备模型中的可识别性？
• RQ3 主题-词矩阵需满足何种组合与代数条件，才能在过完备情形下确保张量分解的唯一性？
• RQ4 能否证明在过完备设置下，随机结构化主题模型以高概率具有可识别性？
• RQ5 所提出的条件如何与或推广现有的CP分解唯一性结果？

主要发现

• 本文证明，若主题-词矩阵存在完美$n$-元组匹配且满足高阶展开条件，则过完备主题模型是通用可识别的。
• 当主题数$q$满足$q \leq \left(c\frac{p}{2}\right)^2$时，随机结构化主题模型以高概率可识别，其中$p$为词表大小，$c$为与稀疏性相关的常数。
• 证明了主题-词矩阵的Kruskal秩以高概率至少为$cp$，这是张量分解唯一性的一个关键条件。
• 该可识别性结果适用于一般（非退化）主题比例分布，允许主题之间存在任意相关性。
• 该框架超越CP分解，为具有结构化稀疏性的更广泛Tucker分解类提供了唯一性保证。
• 所提条件足以保证即使在$q \gg p$时，也能从四阶矩张量中唯一恢复潜在主题结构。