[论文解读] Neural Topic Model via Optimal Transport

He Zhao, Dinh Phung+3 more|arXiv (Cornell University)|Aug 12, 2020

Topic Modeling参考文献 48被引用 5

一句话总结

该论文提出了一种基于最优传输的神经主题模型（NSTM），这是一种新颖的神经主题模型，通过使用预训练词嵌入作为语义代价矩阵，直接利用最优传输（OT）最小化文档词分布与学习到的主题分布之间的距离。该方法通过联合学习主题嵌入并最小化基于OT的重建损失（无需重参数化），在主题一致性、多样性以及文档表征方面实现了最先进性能，尤其在短文本上表现优异。

ABSTRACT

Recently, Neural Topic Models (NTMs) inspired by variational autoencoders have obtained increasingly research interest due to their promising results on text analysis. However, it is usually hard for existing NTMs to achieve good document representation and coherent/diverse topics at the same time. Moreover, they often degrade their performance severely on short documents. The requirement of reparameterisation could also comprise their training quality and model flexibility. To address these shortcomings, we present a new neural topic model via the theory of optimal transport (OT). Specifically, we propose to learn the topic distribution of a document by directly minimising its OT distance to the document's word distributions. Importantly, the cost matrix of the OT distance models the weights between topics and words, which is constructed by the distances between topics and words in an embedding space. Our proposed model can be trained efficiently with a differentiable loss. Extensive experiments show that our framework significantly outperforms the state-of-the-art NTMs on discovering more coherent and diverse topics and deriving better document representations for both regular and short texts.

研究动机与目标

• 解决现有神经主题模型（NTMs）的局限性，包括主题一致性与多样性之间的权衡不佳，以及在短文本上的性能下降问题。
• 通过避免主题建模中复杂的后验采样，消除对重参数化的依赖。
• 通过最优传输直接对齐词分布与主题分布，提升文档表征质量。
• 在稀疏、短文本输入（如推文和标题）上实现更好的泛化能力与鲁棒性。
• 通过嵌入空间中的几何距离，有意义地整合预训练词嵌入到主题建模过程中。

提出的方法

• 该模型使用编码器将文档的词袋表示映射为主题分布，最小化其与观测词分布之间的最优传输（OT）距离。
• OT中的代价矩阵定义为主题嵌入与词嵌入之间的余弦相似度，该矩阵在训练过程中联合学习。
• 通过直接优化OT距离避免重参数化，该距离可微分，支持端到端训练。
• 通过反向传播联合优化主题与词嵌入，使用可微分的OT损失函数。
• 该框架利用嵌入空间的几何结构，建模主题与词之间的语义关系。
• 模型通过一个可微分目标函数进行训练，该函数在重建保真度与语义一致性之间取得平衡。

实验结果

研究问题

• RQ1 最优传输能否在神经主题建模中有效对齐文档词分布与潜在主题分布？
• RQ2 在OT中使用预训练词嵌入作为代价函数，是否相比标准NTMs能提升主题一致性与多样性？
• RQ3 所提出方法是否能在传统NTMs表现不佳的短文本上实现更好的文档表征与主题质量？
• RQ4 在该基于OT的框架中，缺乏重参数化对训练稳定性与模型灵活性有何影响？
• RQ5 嵌入空间的几何结构在多大程度上增强了主题的可解释性与语义对齐？

主要发现

• NSTM 在主题一致性（TC）与主题多样性（TD）方面显著优于当前最先进NTMs，在所有数据集上均实现了两者之间的最佳平衡。
• 在短文本数据集（WS 与 TMN）上，NSTM 始终表现最佳，展现出对数据稀疏性的强鲁棒性。
• 在文档聚类任务中，NSTM 整体性能最佳，除在20NG数据集上使用KMeans时排名第二外，显著优于其他NTMs。
• 该模型在可扩展性方面与其它NTMs相当，训练速度与ProdLDA相当，在包含500个主题的大规模数据集上快于DVAE。
• 通过t-SNE可视化进行的定性分析证实，主题嵌入捕捉到了有意义的语义关系，具有清晰的可解释性与几何结构。
• 该模型成功恢复了多义词的语义——例如，当基于主题嵌入条件化时，'apple' 会从'公司'语义切换为'水果'语义，展示了其语义适应能力。