[论文解读] Topic Memory Networks for Short Text Classification

Jichuan Zeng, Jing Li+4 more|arXiv (Cornell University)|Sep 11, 2018

Topic Modeling参考文献 33被引用 12

一句话总结

本文提出主题记忆网络（TMN），一种新颖的端到端深度学习框架，通过引入记忆增强机制联合学习潜在主题并执行短文本分类，以缓解数据稀疏性问题。通过使用记忆网络对语料级主题表征进行编码，TMN 提升了分类准确率，并生成了连贯且与标签相关的主题，在四个基准数据集上优于当前最先进模型。

ABSTRACT

Many classification models work poorly on short texts due to data sparsity. To address this issue, we propose topic memory networks for short text classification with a novel topic memory mechanism to encode latent topic representations indicative of class labels. Different from most prior work that focuses on extending features with external knowledge or pre-trained topics, our model jointly explores topic inference and text classification with memory networks in an end-to-end manner. Experimental results on four benchmark datasets show that our model outperforms state-of-the-art models on short text classification, meanwhile generates coherent topics.

研究动机与目标

• 为解决传统模型在短文本分类中因数据稀疏性导致的性能瓶颈问题。
• 通过仅从内部文本数据学习有效表征，消除对外部知识源的依赖。
• 以端到端方式联合推断潜在主题并执行分类，提升表征质量。
• 开发一种选择性关注与分类最相关主题表征的记忆机制。
• 生成连贯且语义有意义的主题，这些主题能明确指示类别标签。

提出的方法

• 模型采用变分自编码器（VAE）风格的神经主题模型（NTM），从短文本语料中发现潜在主题。
• 提出一种新颖的主题记忆机制，受记忆网络启发，基于注意力机制存储并检索主题表征。
• 在分类过程中，记忆网络动态关注最相关的潜在主题，从而丰富短文本的表征。
• 整个框架采用端到端训练，联合优化主题推断与文本分类目标。
• 模型利用文档间词语共现模式，学习捕捉语义聚类的主题表征。
• 分类器利用经注意力加权的主题表征预测类别标签，无需外部特征或预训练主题。

实验结果

研究问题

• RQ1 记忆增强架构能否通过利用潜在主题表征有效提升短文本分类性能？
• RQ2 与将预训练主题作为固定特征的模型相比，联合端到端学习主题与分类是否表现更优？
• RQ3 所提出的主题记忆机制能否在无需外部知识的情况下生成连贯且具有指示性的主题？
• RQ4 与当前最先进方法相比，该模型在基准短文本分类数据集上的表现如何？
• RQ5 所学习的主题在多大程度上能帮助解决具有多义词或上下文依赖词的短文本中的歧义问题？

主要发现

• 所提出的主题记忆网络（TMN）在四个基准短文本分类数据集上达到最先进性能，分类准确率与主题连贯性均优于现有模型。
• 模型生成的连贯且可解释的主题与类别标签具有强关联性，经定性分析得到验证。
• 主题推断与分类的联合端到端训练相比使用预训练主题的方法，能实现更优的表征学习。
• 主题记忆机制能有效捕捉上下文相关的主题，减少因词语歧义或多义性导致的误分类。
• 模型对数据稀疏性表现出鲁棒性，尤其在词汇量和上下文有限的短文本中表现优异。
• 错误分析表明，主要失败模式源于多义性（例如，'Super Bowl' 被误分类为体育类）以及缺乏短语级语义，提示未来可通过上下文敏感嵌入或短语发现技术进一步改进。