[论文解读] Topic Compositional Neural Language Model

Wenlin Wang, Zhe Gan+6 more|arXiv (Cornell University)|Dec 28, 2017

Topic Modeling参考文献 46被引用 38

一句话总结

该论文提出了一种主题组合神经语言模型（TCNLM），这是一种联合框架，通过矩阵分解将神经主题模型与专家混合（MoE）语言模型相结合，实现高效、端到端的训练。TCNLM通过利用基于主题概率加权的RNN专家，实现了SOTA级别的困惑度降低，优于标准RNN和先前的主题引导模型，同时生成连贯且主题条件化的句子。

ABSTRACT

We propose a Topic Compositional Neural Language Model (TCNLM), a novel method designed to simultaneously capture both the global semantic meaning and the local word ordering structure in a document. The TCNLM learns the global semantic coherence of a document via a neural topic model, and the probability of each learned latent topic is further used to build a Mixture-of-Experts (MoE) language model, where each expert (corresponding to one topic) is a recurrent neural network (RNN) that accounts for learning the local structure of a word sequence. In order to train the MoE model efficiently, a matrix factorization method is applied, by extending each weight matrix of the RNN to be an ensemble of topic-dependent weight matrices. The degree to which each member of the ensemble is used is tied to the document-dependent probability of the corresponding topics. Experimental results on several corpora show that the proposed approach outperforms both a pure RNN-based model and other topic-guided language models. Further, our model yields sensible topics, and also has the capacity to generate meaningful sentences conditioned on given topics.

研究动机与目标

• 为解决基于RNN的语言模型在捕捉长距离文档级语义方面的局限性，通过整合全局主题一致性来改进。
• 克服现有主题引导语言模型在效率和泛化能力方面的不足，这些模型将主题视为外部特征或事后重加权。
• 设计一种统一的、可端到端训练的架构，联合优化主题建模与语言建模，以提升性能和可解释性。
• 实现基于特定主题或主题组合的有意义句子生成，增强模型的可解释性。

提出的方法

• 模型使用变分自编码器学习每篇文档的潜在主题分布，以捕捉全局语义一致性。
• 每个主题在专家混合（MoE）结构中对应一个专用的基于RNN的专家，专家权重由文档特定的主题概率决定。
• 对RNN权重矩阵应用矩阵分解，将其分解为与主题相关的组件，以减少参数量并防止过拟合。
• 通过最大化变分下界实现端到端训练，使主题建模和语言建模目标能够联合优化。
• MoE结构允许根据主题相关性动态路由隐藏状态，实现上下文感知的词预测。
• 通过仅使用相关专家的权重构建主题条件化LSTM生成器，实现可控的句子生成。

实验结果

研究问题

• RQ1 联合神经主题模型与语言模型架构是否能通过引入全局主题一致性，在困惑度上超越标准RNN？
• RQ2 在MoE框架中，基于主题概率加权的专家在保持全局语义一致性的同时，能否有效建模局部词序？
• RQ3 与朴素MoE相比，MoE结构中基于矩阵分解的参数共享是否能有效防止过拟合并提升训练效率？
• RQ4 当基于单个或组合主题进行条件控制时，模型能否生成语义连贯的句子，从而体现其可解释性和组合理解能力？

主要发现

• TCNLM在所有数据集上均达到最低的测试困惑度：APNEWS为82.67，IMDB为94.64，BNC为125.09，优于基础LSTM和朴素MoE模型。
• 在APNEWS和IMDB上，TCNLM达到最高的主题一致性得分，表明其主题质量优于LDA及其他基线模型。
• 当基于单个主题进行条件控制时，模型能生成有意义且与主题相关的句子，包括语义上差异较大的主题对，如“animal”与“lottory”。
• 尽管参数量更少、计算成本更低，TCNLM仍显著优于朴素MoE实现，表明矩阵分解设计的有效性。
• 模型显示，更大的架构可能略微降低主题一致性，暗示序列建模能力与主题可解释性之间存在权衡。
• 定性分析证实，TCNLM能有效将主题语义组合为连贯的句子生成，验证了其可解释性和组合推理能力。