[论文解读] Multichannel CNN with Attention for Text Classification

Zhenyu Liu, Haiwei Huang+2 more|arXiv (Cornell University)|Jun 29, 2020

Topic Modeling参考文献 30被引用 18

一句话总结

本文提出了一种基于注意力的多通道卷积神经网络（AMCNN）用于文本分类，结合双向LSTM编码与标量注意力和向量注意力，生成捕捉词级和特征级重要性的多通道表征。该模型通过有效提取具有增强语义丰富性和鲁棒性的n-gram特征，在基准数据集上超越了当前最先进方法。

ABSTRACT

Recent years, the approaches based on neural networks have shown remarkable potential for sentence modeling. There are two main neural network structures: recurrent neural network (RNN) and convolution neural network (CNN). RNN can capture long term dependencies and store the semantics of the previous information in a fixed-sized vector. However, RNN is a biased model and its ability to extract global semantics is restricted by the fixed-sized vector. Alternatively, CNN is able to capture n-gram features of texts by utilizing convolutional filters. But the width of convolutional filters restricts its performance. In order to combine the strengths of the two kinds of networks and alleviate their shortcomings, this paper proposes Attention-based Multichannel Convolutional Neural Network (AMCNN) for text classification. AMCNN utilizes a bi-directional long short-term memory to encode the history and future information of words into high dimensional representations, so that the information of both the front and back of the sentence can be fully expressed. Then the scalar attention and vectorial attention are applied to obtain multichannel representations. The scalar attention can calculate the word-level importance and the vectorial attention can calculate the feature-level importance. In the classification task, AMCNN uses a CNN structure to cpture word relations on the representations generated by the scalar and vectorial attention mechanism instead of calculating the weighted sums. It can effectively extract the n-gram features of the text. The experimental results on the benchmark datasets demonstrate that AMCNN achieves better performance than state-of-the-art methods. In addition, the visualization results verify the semantic richness of multichannel representations.

研究动机与目标

• 为解决RNN在捕捉长期依赖关系方面的局限性，以及CNN因固定滤波器宽度而限制n-gram特征提取的问题。
• 通过集成注意力机制，克服基于RNN的模型中将词序视为次要因素所导致的语义模糊性。
• 通过结合标量注意力与向量注意力的多通道建模，提升特征表征的多样性与鲁棒性。
• 通过融合双向LSTM、注意力机制与卷积特征提取的优势，提升文本分类性能。

提出的方法

• 使用双向LSTM将每个词的过去与未来上下文编码为高维表征。
• 应用标量注意力计算词级重要性权重，突出语义显著的词。
• 采用向量注意力计算特征级重要性，根据隐藏状态维度的信息量为其分配不同的学习率。
• 通过组合标量注意力与向量注意力的输出生成多通道表征，实现对句子语义的多样化理解。
• 使用可变滤波器尺寸的CNN从多通道表征中提取n-gram特征，而非采用加权和的方式。
• 通过最大池化与全连接层进行最终分类，并对隐藏层大小、通道数、滤波器尺寸及特征图数量等超参数进行调优。

实验结果

研究问题

• RQ1 将标量注意力与向量注意力结合多通道表征，是否能在性能上超越单一注意力或单通道模型？
• RQ2 将双向LSTM与注意力机制及CNN结合，如何增强特征提取与语义表征能力？
• RQ3 多通道建模在多大程度上提升了文本分类任务中的鲁棒性与泛化能力？
• RQ4 隐藏层大小、通道数、滤波器尺寸及特征图数量等超参数的最优配置为何，可实现最大性能？

主要发现

• AMCNN在MPQA、SST-2、MR和Subj等基准数据集上达到最先进性能，超越现有方法。
• 在MPQA、SST-2和MR数据集上，3个通道表现最佳；在Subj数据集上，4个通道表现最优，表明最优通道数因数据集而异。
• 分类准确率随隐藏层大小增加至128而提升，之后趋于平稳或下降，表明存在欠拟合与过拟合之间的权衡。
• 滤波器尺寸在4–8之间时，性能与参数效率达到最佳平衡，更大尺寸的滤波器带来的性能提升微乎其微。
• 增加特征图数量可初期提升准确率，但因参数量上升导致过拟合，性能在某一点后趋于稳定。
• 向量注意力机制通过实现特征的可调节微调，提升模型鲁棒性，从而增强性能。