[论文解读] Short Text Classification via Knowledge powered Attention with Similarity Matrix based CNN

Mingchen Li, Gabtone. Clinton+2 more|arXiv (Cornell University)|Feb 9, 2020

Topic Modeling参考文献 42被引用 6

一句话总结

该论文提出KASM，一种基于知识图谱嵌入（特别是父实体信息）和基于相似度矩阵的CNN的增强型注意力模型，用于短文本分类。通过整合知识图谱嵌入并利用注意力机制动态加权相关知识，该方法提升了语义表征能力，捕捉了文本与标签之间的词级交互，实现了在五个基准数据集上的最先进性能。

ABSTRACT

Short text is becoming more and more popular on the web, such as Chat Message, SMS and Product Reviews. Accurately classifying short text is an important and challenging task. A number of studies have difficulties in addressing this problem because of the word ambiguity and data sparsity. To address this issue, we propose a knowledge powered attention with similarity matrix based convolutional neural network (KASM) model, which can compute comprehensive information by utilizing the knowledge and deep neural network. We use knowledge graph (KG) to enrich the semantic representation of short text, specially, the information of parent-entity is introduced in our model. Meanwhile, we consider the word interaction in the literal-level between short text and the representation of label, and utilize similarity matrix based convolutional neural network (CNN) to extract it. For the purpose of measuring the importance of knowledge, we introduce the attention mechanisms to choose the important information. Experimental results on five standard datasets show that our model significantly outperforms state-of-the-art methods.

研究动机与目标

• 解决短文本分类中的词义歧义和数据稀疏性挑战。
• 通过引入知识图谱中的外部知识，改进短文本的语义表征。
• 利用基于相似度矩阵的CNN，捕捉输入文本与标签表征之间的细粒度交互。
• 通过注意力机制动态加权知识组件的重要性，提升模型聚焦能力。
• 在标准短文本分类基准上，性能优于现有方法。

提出的方法

• 利用知识图谱（KG）丰富词表征，特别是通过引入父实体信息以增强语义上下文。
• 构建输入文本的词嵌入与标签表征之间的相似度矩阵，以建模字面级交互。
• 在相似度矩阵上应用卷积神经网络（CNN），以提取词与标签之间的局部交互模式。
• 在知识图谱实体上引入注意力机制，动态分配不同知识组件的重要性权重。
• 将注意力加权后的知识表征与CNN提取的特征进行融合，用于最终分类。
• 使用标准交叉熵损失函数，端到端训练多分类文本分类模型。

实验结果

研究问题

• RQ1 整合知识图谱信息（特别是父实体关系）是否能提升短文本分类中的语义表征？
• RQ2 基于相似度矩阵的CNN在捕捉输入文本与标签表征交互方面是否有效？
• RQ3 对知识图谱实体的注意力机制是否通过聚焦相关语义信息，带来性能提升？
• RQ4 所提出的KASM模型在标准短文本分类基准上，相较于现有最先进方法，性能提升程度如何？

主要发现

• KASM模型在五个标准短文本分类数据集上，显著优于现有最先进方法。
• 引入知识图谱中的父实体信息，有效提升了模型解决词义歧义和缓解数据稀疏性问题的能力。
• 基于相似度矩阵的CNN能有效捕捉输入文本与标签表征之间的细粒度交互。
• 注意力机制成功识别并强调了最相关的知识组件，提升了模型的可解释性与准确性。
• 消融实验验证了每个组件——知识融合、相似度矩阵CNN和注意力机制——对整体性能均有显著贡献。