[论文解读] Unsupervised Machine Commenting with Neural Variational Topic Model

Shuming Ma, Lei Cui+2 more|arXiv (Cornell University)|Sep 13, 2018

Topic Modeling参考文献 28被引用 8

一句话总结

本文提出了一种用于机器文章评论的无监督神经变分主题模型，通过利用未配对文章与评论之间的主题相似性，消除了对平行训练数据的需求。通过使用变分自编码器建模主题，并采用基于检索的框架，该方法显著优于基于词典的基线模型，并在半监督设置下达到了最先进性能。

ABSTRACT

Article comments can provide supplementary opinions and facts for readers, thereby increase the attraction and engagement of articles. Therefore, automatically commenting is helpful in improving the activeness of the community, such as online forums and news websites. Previous work shows that training an automatic commenting system requires large parallel corpora. Although part of articles are naturally paired with the comments on some websites, most articles and comments are unpaired on the Internet. To fully exploit the unpaired data, we completely remove the need for parallel data and propose a novel unsupervised approach to train an automatic article commenting model, relying on nothing but unpaired articles and comments. Our model is based on a retrieval-based commenting framework, which uses news to retrieve comments based on the similarity of their topics. The topic representation is obtained from a neural variational topic model, which is trained in an unsupervised manner. We evaluate our model on a news comment dataset. Experiments show that our proposed topic-based approach significantly outperforms previous lexicon-based models. The model also profits from paired corpora and achieves state-of-the-art performance under semi-supervised scenarios.

研究动机与目标

• 解决监督式机器评论模型缺乏大规模平行训练数据的问题。
• 克服文章与评论之间的语义鸿沟，这些内容通常讨论相关主题但并非相同内容。
• 仅使用未配对的文章和评论，实现有效的文章-评论匹配，而无需依赖标注的配对数据。
• 通过建模文章与评论之间共享的潜在主题，提升评论检索性能。
• 通过主题感知表示学习，在无监督和半监督设置下均实现最先进结果。

提出的方法

• 提出一种神经变分主题模型（NVDM），从未配对的文章和评论中学习可解释的、低维的主题表征。
• 使用具有逻辑正态先验的变分自编码器来近似狄利克雷分布，从而实现可微分的主题推理。
• 利用训练好的模型将每篇文章和每条评论表示为主题分布，从而支持语义相似性计算。
• 实施基于检索的框架，根据主题相似性对评论进行排序。
• 仅使用未配对数据以无监督方式训练主题模型，避免依赖文章-评论配对数据。
• 将主题模型集成到检索系统中（所提方法+IR），在TF-IDF和序列到序列基线模型之上提升了排序准确性。

实验结果

研究问题

• RQ1 基于主题的方法能否有效弥合未配对文章与评论之间的语义鸿沟？
• RQ2 无监督主题建模与基于词典的方法（如TF-IDF）相比，在检索相关评论方面表现如何？
• RQ3 在无平行数据的情况下，主题感知模型能在多大程度上提升评论检索的准确性？
• RQ4 在半监督设置下，该模型能否从少量配对数据中获益？
• RQ5 哪些类型的评论（如合理但不正确者）最可能被误分类，以及主题建模如何减少此类错误？

主要发现

• 所提出的基于主题的模型在检索正确评论方面显著优于TF-IDF和序列到序列（S2S）基线模型，尤其在无监督设置下表现突出。
• 该模型降低了将看似合理但无关的评论排在高位的倾向，这种问题在TF-IDF和S2S模型中由于词汇重叠或模式崩溃而普遍存在。
• 在无监督设置下，该模型在区分正确评论与合理但错误的评论方面表现最佳，如Top-1评论类型分析所示。
• 当使用少量配对数据进行微调时，该模型在半监督场景下实现了最先进性能。
• 该模型在识别主题相关但词汇上不相似的文章评论方面表现尤为出色。
• 错误分析表明，主要挑战仍在于将合理但错误的评论误分类，表明在捕捉细微主题相关性方面仍有改进空间。