[论文解读] Provable Algorithms for Inference in Topic Models

Sanjeev Arora, Rong Ge+3 more|arXiv (Cornell University)|May 27, 2016

Data Management and Algorithms参考文献 18被引用 10

一句话总结

该论文提出了首个在主题模型中进行推理的可证明高效算法，通过利用主题矩阵的近似逆矩阵，从短文档中估计主题比例。该算法在接近实时的条件下实现了与吉布斯抽样相当的性能，并在主题矩阵的 $\ell_{\infty} \to \u2113_1$ 条件数满足自然条件时，提供了样本复杂度和误差界方面的理论保证。

ABSTRACT

Recently, there has been considerable progress on designing algorithms with provable guarantees -- typically using linear algebraic methods -- for parameter learning in latent variable models. But designing provable algorithms for inference has proven to be more challenging. Here we take a first step towards provable inference in topic models. We leverage a property of topic models that enables us to construct simple linear estimators for the unknown topic proportions that have small variance, and consequently can work with short documents. Our estimators also correspond to finding an estimate around which the posterior is well-concentrated. We show lower bounds that for shorter documents it can be information theoretically impossible to find the hidden topics. Finally, we give empirical results that demonstrate that our algorithm works on realistic topic models. It yields good solutions on synthetic data and runs in time comparable to a {\em single} iteration of Gibbs sampling.

研究动机与目标

• 设计首个在主题模型中具有可证明保证的主题推理算法，以填补理论理解中的关键空白。
• 通过利用主题矩阵的结构特性，特别是其近似逆的存在性，实现在短文档上的准确推理。
• 建立信息论极限，确定实现有意义推理所需的最少词数，表明 $\Omega(r^2)$ 个样本是必需的。
• 证明线性估计器结合最大似然后处理可显著提升在合成数据和真实世界数据上的经验性能。
• 表明该算法的运行时间与单次吉布斯抽样迭代相当，从而支持实际部署。

提出的方法

• 该方法基于主题矩阵 $A$ 的近似逆矩阵 $B$ 构建线性估计器，其中 $B$ 满足 $\|BA - I\|_{\infty \to 1} \leq \epsilon$。
• 对文档的词频向量 $y$ 应用估计器 $\hat{x} = B y$，得到主题比例的初始估计，其方差较低。
• 该算法将 $A$ 的 $\ell_{\infty} \to \ell_1$ 条件数作为关键结构参数，以决定估计精度。
• 后处理步骤在由线性估计器识别出的缩减主题集合上应用最大似然估计，以提升准确性。
• 理论分析表明，当主题向量为 $r$-稀疏时，$O(r^2 \log k)$ 个词足以实现可靠推理。
• 该方法在合成数据和真实数据集（NYTimes、Enron、NIPS）上进行了经验验证，采用伪逆作为 $B$ 的实用选择。

实验结果

研究问题

• RQ1 我们能否设计一种在短文档上运行的、具有可证明效率的主题模型推理算法？
• RQ2 主题矩阵的何种结构条件可实现主题比例的可靠线性估计？
• RQ3 对于 $r$-稀疏主题向量，信息论上是否可能在少于 $r^2$ 个词的情况下推断主题比例？
• RQ4 与吉布斯抽样相比，所提出的线性估计器在准确性和速度方面的表现如何？
• RQ5 通过最大似然进行后处理是否能显著提升初始线性估计的准确性？

主要发现

• 在合成数据上，TLI 算法的 $\ell_1$ 和 $\ell_\infty$ 误差比吉布斯抽样高 3 到 5 倍，但在最大似然后处理后性能显著提升。
• 在 NYTimes 数据集上，TLI 每篇文档的计算时间为 0.8 毫秒，与单次吉布斯抽样迭代（1.0 毫秒）相当。
• 在 Enron 数据集上，需要 20 次吉布斯抽样迭代（15 次预 burn-in）才能达到 TLI 的精度，表明 TLI 具有显著的速度优势。
• 在真实文档上，TLI 能恢复吉布斯抽样识别出的前 3 个主题的 34% 至 60%，当使用 TLI 的前 5 个主题时，召回率提升至 40%–75%。
• 理论分析表明，$\Omega(r^2)$ 个词是推理所必需的，而该算法实现了 $O(r^2 \log k)$ 的样本复杂度，与该下界仅相差对数因子。
• 真实世界主题矩阵的 $\ell_{\infty} \to \ell_1$ 条件数与算法性能相关，其中 NIPS（表现最佳）和 Enron（表现最差）的性能差异最为明显。