[论文解读] Topic Modelling Meets Deep Neural Networks: A Survey

He Zhao, Dinh Phung+4 more|arXiv (Cornell University)|Feb 28, 2021

Topic Modeling参考文献 32被引用 6

一句话总结

本综述对神经主题模型（NTMs）进行了全面、基于分类体系的回顾，NTMs 将深度神经网络与主题建模相结合，以提升可扩展性、灵活性，并更好地集成到深度学习流水线中。该综述根据基础架构对超过100种NTM变体进行了分类，评估了其性能与局限性，并指出了统一基准、更丰富的架构设计以及与预训练语言模型集成等关键挑战与未来方向。

ABSTRACT

Topic modelling has been a successful technique for text analysis for almost twenty years. When topic modelling met deep neural networks, there emerged a new and increasingly popular research area, neural topic models, with over a hundred models developed and a wide range of applications in neural language understanding such as text generation, summarisation and language models. There is a need to summarise research developments and discuss open problems and future directions. In this paper, we provide a focused yet comprehensive overview of neural topic models for interested researchers in the AI community, so as to facilitate them to navigate and innovate in this fast-growing research area. To the best of our knowledge, ours is the first review focusing on this specific topic.

研究动机与目标

• 为解决神经主题模型（NTMs）这一自然语言处理与人工智能领域快速发展的方向缺乏聚焦且全面的综述问题。
• 基于其底层深度学习骨干框架（如变分自编码器（VAEs）、生成对抗网络（GANs）、自编码器、Transformer等）提出NTMs的系统性分类体系。
• 采用标准化指标评估现有NTM方法，并指出评估实践中存在的不一致之处。
• 识别NTM研究中的开放性挑战，包括统一基准、更优的评估指标，以及与预训练语言模型的集成。
• 为研究人员开发新型NTM及在文本生成、摘要生成和语言建模等自然语言处理任务中有效应用提供指导。

提出的方法

• 基于其骨干深度学习架构（如变分自编码器（VAEs）、生成对抗网络（GANs）、自编码器、基于最优传输的模型等）提出神经主题模型的分类体系。
• 从概率建模的视角回顾NTMs，其中编码器将文档映射为主题分布，解码器则基于主题-词分布重建文档。
• 强调基于梯度的推理机制，支持端到端训练，并可无缝集成到其他深度神经网络中。
• 根据其优化目标对模型进行分类：例如，VAE-NTMs 最小化证据下界（ELBO），WAE-NTMs 最小化Wasserstein距离，OT-NTMs 最小化最优传输距离。
• 引入并讨论基于强化学习的NTMs框架，其中智能体通过选择与主题一致的词来提升重建效果。
• 分析基于矩阵分解的NTMs及其在学习低秩主题表征中的作用。

实验结果

研究问题

• RQ1 如何基于其底层深度学习架构系统性地对神经主题模型进行分类？
• RQ2 在基于VAE、GAN、自编码器和最优传输的NTMs之间，其性能、可扩展性和可解释性方面存在哪些关键差异？
• RQ3 为何NTM的评估在不同研究中存在不一致性？这对模型比较有何影响？
• RQ4 如何有效整合外部知识（如预训练词嵌入或上下文表示，例如BERT）到NTMs中以提升性能？
• RQ5 NTM研究中最具前景的未来方向是什么，特别是在统一基准、与大语言模型联合训练以及真实世界应用方面？

主要发现

• 神经主题模型（NTMs）已成为主题建模领域的主导趋势，迄今已发展出超过100种不同模型，显著提升了可扩展性，并更好地融入深度学习流水线。
• 基于变分自编码器（VAE）的NTMs通过最小化ELBO被广泛采用，构成主要模型类别，但其通过困惑度评估的方式与未使用ELBO目标的模型无法直接比较。
• 基于最优传输和Wasserstein自编码器的模型通过最小化分布距离，在提升文档重建质量和主题一致性方面展现出潜力。
• 基于强化学习的NTMs通过训练智能体在文档重建过程中选择与主题相关联的词，显著提升了主题一致性。
• 尽管取得成功，当前NTM的评估实践仍缺乏标准化，不同研究采用的指标、设置和基准各不相同，导致跨模型比较困难。
• 未来研究应优先关注统一的评估平台、更丰富的架构集成（如与Transformer结合），以及利用BERT等预训练语言模型来增强主题建模中的语义表征。