[论文解读] Recurrent Hierarchical Topic-Guided RNN for Language Generation

Dandan Guo, Bo Chen+2 more|arXiv (Cornell University)|Dec 21, 2019

Topic Modeling被引用 10

一句话总结

本文提出rGBN-RNN，一种递归分层主题引导的RNN语言模型，通过将递归伽马信念网络（rGBN）与堆叠RNN相结合，联合学习深层、可解释的主题层次结构和序列级语义。该模型能够捕捉跨句子和文档的长距离依赖关系，在生成句法正确、语义连贯且多样化的文本方面优于现有的基于RNN的模型，同时学习到反映文本中时间与结构关系的层次化主题。

ABSTRACT

To simultaneously capture syntax and global semantics from a text corpus, we propose a new larger-context recurrent neural network (RNN) based language model, which extracts recurrent hierarchical semantic structure via a dynamic deep topic model to guide natural language generation. Moving beyond a conventional RNN-based language model that ignores long-range word dependencies and sentence order, the proposed model captures not only intra-sentence word dependencies, but also temporal transitions between sentences and inter-sentence topic dependencies. For inference, we develop a hybrid of stochastic-gradient Markov chain Monte Carlo and recurrent autoencoding variational Bayes. Experimental results on a variety of real-world text corpora demonstrate that the proposed model not only outperforms larger-context RNN-based language models, but also learns interpretable recurrent multilayer topics and generates diverse sentences and paragraphs that are syntactically correct and semantically coherent.

研究动机与目标

• 为解决基于RNN的语言模型在捕捉文档间长距离依赖关系和全局语义结构方面的局限性。
• 克服浅层主题模型忽略句子顺序和文本层次结构的不足。
• 开发一个统一框架，联合学习深层层次化主题与序列级语言建模，以提升文本生成质量。
• 通过利用主题层次中不同层级的多级主题进行条件控制，实现可控的文本生成。
• 设计一种可扩展的推理方法，以实现联合模型的端到端训练。

提出的方法

• 该模型使用递归伽马信念网络（rGBN）学习随时间演变的深层、分层主题结构，以捕捉句子间的依赖关系。
• 采用堆叠RNN作为语言模型组件，基于分层主题表征生成词序列。
• 框架采用混合推理策略，结合随机梯度马尔可夫链蒙特卡罗（SG-MCMC）与递归自编码变分贝叶斯方法，实现可扩展的端到端训练。
• rGBN在多层结构中建模文档级别的词共现模式，高层主题更通用，低层主题更具体。
• 在生成过程中通过在不同层次的潜在主题向量上条件化RNN，实现对句子和段落的可控、语义连贯的生成。
• 模型将输入段落编码为动态的分层潜在表示，进而生成语境相关且多样的文本序列。

实验结果

研究问题

• RQ1 深层递归主题模型能否有效捕捉文档级文本中的长距离依赖关系与层次化语义？
• RQ2 与标准RNN相比，主题引导的RNN语言模型能否生成更多样化且更连贯的文本？
• RQ3 该模型能否学习到反映文本中时间与结构关系的可解释、多层级主题层次？
• RQ4 将层次化主题整合到基于RNN的语言模型中，能否提升其在真实世界文本语料上的性能？
• RQ5 通过分层潜在表示对输入段落进行条件控制，该模型能否生成语义连贯的段落？

主要发现

• rGBN-RNN在多种真实世界文本语料上优于上下文更大的基于RNN的语言模型，展现出更优的生成质量与连贯性。
• 该模型成功学习到可解释的多层主题层次结构，低层主题具体，高层主题逐渐趋于通用。
• 基于单个或组合主题生成的句子与主题语义相关，即使关键词不完全匹配，也表明主题引导生成的有效性。
• 通过主题层次可视化，模型捕捉到同层主题间的时间关系以及跨层的主题层次关系。
• 通过输入段落条件化生成的段落保持语义连贯性，并融入了超越单一句子的上下文信息。
• 混合推理方法实现了高效、可扩展的训练，使模型能够联合优化语言建模与主题建模目标。