[论文解读] Topic Discovery through Data Dependent and Random Projections

Weicong Ding, Mohammad Hossein Rohban+2 more|arXiv (Cornell University)|Mar 15, 2013

Algorithms and Data Compression参考文献 17被引用 31

一句话总结

该论文提出了一种计算高效的主题建模方法，通过利用数据相关投影和随机投影，在可分性条件下识别出新颖词（即仅属于单一主题的独特词汇）。通过沿随机方向投影词频模式，该方法检测对应于新颖词的极端点，从而实现在样本复杂度与最先进方法相当、计算复杂度为 O(√M W + M N) 的线性时间主题恢复。

ABSTRACT

We present algorithms for topic modeling based on the geometry of cross-document word-frequency patterns. This perspective gains significance under the so called separability condition. This is a condition on existence of novel-words that are unique to each topic. We present a suite of highly efficient algorithms based on data-dependent and random projections of word-frequency patterns to identify novel words and associated topics. We will also discuss the statistical guarantees of the data-dependent projections method based on two mild assumptions on the prior density of topic document matrix. Our key insight here is that the maximum and minimum values of cross-document frequency patterns projected along any direction are associated with novel words. While our sample complexity bounds for topic recovery are similar to the state-of-art, the computational complexity of our random projection scheme scales linearly with the number of documents and the number of words per document. We present several experiments on synthetic and real-world datasets to demonstrate qualitative and quantitative merits of our scheme.

研究动机与目标

• 解决在高维稀疏文档语料中传统NMF和LDA方法面临计算与统计局限性的主题建模挑战。
• 通过利用可分性条件（即每个主题具有唯一且不重叠的词汇）克服非负矩阵分解（NMF）的NP难问题。
• 开发一种可扩展算法，利用文档分布凸包中词频向量的几何特性识别新颖词。
• 在主题-文档矩阵先验分布的温和假设下，为主题恢复提供可证明的统计保证。
• 将计算复杂度降低至与文档数量和每篇文档的词数呈近线性关系，从而实现在大规模语料上的实际部署。

提出的方法

• 利用文档间词频向量的数据相关与随机投影，检测凸包中的极端点，这些极端点在可分性条件下对应于新颖词。
• 利用几何洞察：在随机投影方向上的最大值与最小值对应于凸包的极端点，从而识别出新颖词。
• 应用基于距离的聚类算法，将属于同一主题的多个新颖词分组，以解决每主题存在多个新颖词带来的歧义。
• 通过线性回归估计主题词分布，使用识别出的新颖词作为锚点，确保主题矩阵的一致且准确恢复。
• 在主题-文档矩阵先验密度的两个温和假设下，建立理论样本复杂度边界，表明其与最先进方法相当。
• 设计两阶段算法：(1) 通过投影检测新颖词，(2) 通过回归实现主题恢复，整体复杂度为 O(√M W + M N)。

实验结果

研究问题

• RQ1 在可分性条件下，能否高效利用随机投影与数据相关投影识别主题建模中的新颖词？
• RQ2 与现有最先进主题建模算法相比，所提方法的计算复杂度如何？
• RQ3 在主题-文档先验的温和假设下，该方法在样本复杂度与统计一致性方面表现如何？
• RQ4 该方法能否在真实世界与合成数据集上以高精度和低误检/漏检率识别新颖词？
• RQ5 随着文档数量与每篇文档词数的增加，该方法的可扩展性如何？

主要发现

• 所提方法在样本复杂度上与 Arora 等人 (2012a) 等最先进方法相当，确保在可分性条件下实现可靠的主题恢复。
• 计算复杂度为 O(√M W + M N)，显著优于传统NMF或基于LDA的方法，尤其在 M 和 W 较大时优势明显。
• 在合成数据集与真实世界数据集（如《纽约时报》语料）上的实验表明，该方法能以可忽略的误检与漏检率识别新颖词。
• 基于距离的聚类步骤能有效将同一主题的多个新颖词分组，减少冗余并提升主题一致性。
• 在主题质量的定性表现与主题一致性、恢复准确率等定量指标上，该方法均优于现有方案。
• 在主题-文档矩阵先验密度的两个温和假设下建立了理论保证，支持方法的鲁棒性与泛化能力。