[论文解读] Rethinking LDA: moment matching for discrete ICA

Anastasia Podosinnikova, Francis Bach+1 more|arXiv (Cornell University)|Jul 7, 2015

Blind Source Separation Techniques参考文献 34被引用 6

一句话总结

该论文通过将矩匹配技术与独立成分分析（ICA）关联，将潜在狄利克雷分配（LDA）重新构想为离散独立成分分析（DICA）模型。它引入了新型基于三阶矩的张量，显著提升了样本复杂度，并采用正交联合对角化方法，在合成数据和真实世界数据集上均优于现有的基于张量的LDA方法，展示了更优的主题恢复能力和下游推理的初始化性能。

ABSTRACT

We consider moment matching techniques for estimation in Latent Dirichlet Allocation (LDA). By drawing explicit links between LDA and discrete versions of independent component analysis (ICA), we first derive a new set of cumulant-based tensors, with an improved sample complexity. Moreover, we reuse standard ICA techniques such as joint diagonalization of tensors to improve over existing methods based on the tensor power method. In an extensive set of experiments on both synthetic and real datasets, we show that our new combination of tensors and orthogonal joint diagonalization techniques outperforms existing moment matching methods.

研究动机与目标

• 将LDA重新表述为离散ICA模型，以利用成熟的ICA技术实现更优的估计。
• 从更高阶矩出发，推导出适用于LDA的新型基于三阶矩的张量，其样本复杂度优于以往的矩匹配方法。
• 开发一种基于联合对角化的算法，其主题恢复性能优于张量幂法。
• 在合成数据和真实世界数据集上评估所提方法，包括与变分推理的基准比较。

提出的方法

• 将LDA重新表述为伽马-泊松（GP）模型，以建立与离散ICA（DICA）的等价性，从而可应用ICA工具。
• 从GP模型中推导出新型高阶三阶矩张量，其样本复杂度优于标准LDA矩。
• 通过利用三阶矩张量的结构，采用正交联合对角化方法估计主题矩阵D。
• 将所得的主题估计结果用作变分推理的初始化，以提升收敛速度与预测性能。
• 提出一种稳健的估计流程，可处理真实数据中的有限样本效应与模型误设问题。

实验结果

研究问题

• RQ1 LDA能否被重新解释为离散ICA模型，从而实现先进ICA技术的应用？
• RQ2 从伽马-泊松生成过程导出的基于三阶矩的张量，其样本复杂度是否优于标准LDA矩？
• RQ3 对这些新张量进行联合对角化是否在主题恢复上优于张量幂法？
• RQ4 在真实数据集上，所提方法与变分推理相比，在预测对数似然方面表现如何？
• RQ5 该方法能否作为其他LDA推理算法的有效初始化方法？

主要发现

• 使用基于GP的三阶矩张量的联合对角化方法（JD-GP）在ℓ1误差上显著低于基于LDA矩的对角化方法（JD-LDA），尤其在c0参数误设时表现更优。
• 在NIPS半合成数据集上，JD-GP在K=10和K=50时，于20,000篇文档中均实现ℓ1误差低于0.2，优于谱方法与变分基线。
• 在KOS与AP真实数据集上，JD-GP的预测对数似然（以每标记位数计）高于基于LDA与基于GP的谱方法。
• 当使用JD-GP进行初始化时，变分推理（VI）始终优于标准VI，证明了新初始化方法的价值。
• 该方法对超参数c0的误设具有鲁棒性，但当c0远离真实值时性能会下降，表明其对先验选择较为敏感。