[论文解读] Multichannel Variable-Size Convolution for Sentence Classification

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Mar 15, 2016

Topic Modeling参考文献 28被引用 20

一句话总结

本文提出MVCNN，一种用于句子分类的多通道、可变尺寸卷积神经网络，通过结合多种预训练词嵌入并使用多种尺寸的卷积核提取多粒度短语特征。MVCNN通过多通道初始化、可变尺寸卷积以及有效的预训练和互学习策略，在四个句子分类任务上达到最先进性能，包括情感分析和主观性分类。

ABSTRACT

We propose MVCNN, a convolution neural network (CNN) architecture for sentence classification. It (i) combines diverse versions of pretrained word embeddings and (ii) extracts features of multigranular phrases with variable-size convolution filters. We also show that pretraining MVCNN is critical for good performance. MVCNN achieves state-of-the-art performance on four tasks: on small-scale binary, small-scale multi-class and largescale Twitter sentiment prediction and on subjectivity classification.

研究动机与目标

• 通过结合多种预训练词嵌入版本，捕获更丰富的语义和句法特征，以提升句子分类性能。
• 通过引入可变尺寸卷积核，解决固定尺寸卷积核的局限性，从而从不同长度的短语中提取特征。
• 通过在大规模未标注数据上进行预训练，再在下游任务上微调，缓解低资源设置下的过拟合问题。
• 通过在训练过程中多个嵌入通道之间的互学习，提升模型泛化能力。
• 通过实证验证每个组件——嵌入多样性、可变尺寸卷积核、预训练和互学习——对分类性能的贡献。

提出的方法

• MVCNN使用多通道输入，每个通道对应一种不同的预训练词嵌入版本（例如，HLBL、SENNA、GloVe、C&W以及神经机器翻译嵌入）。
• 模型应用一维卷积层，使用可变尺寸的卷积核（例如，3、5、7、9），以从不同长度的短语中提取特征，实现多粒度特征学习。
• 在每个卷积层后应用动态k最大池化，以保留序列中最具代表性的特征，同时保持句子的层次结构。
• 在微调下游分类任务之前，先在大规模未标注语料上进行预训练，以减少过拟合并提升泛化能力。
• 在训练过程中应用互学习策略，每个嵌入通道根据其他通道的预测结果进行更新，从而增强特征互补性。
• 最终的句子表示通过拼接所有通道和卷积核的池化特征，再经过一个带有Dropout的全连接层，完成分类。

实验结果

研究问题

• RQ1 与仅使用单一嵌入相比，结合多种多样化的预训练词嵌入对句子分类性能有何影响？
• RQ2 在句子分类中，可变尺寸卷积核相较于固定尺寸卷积核，在特征提取方面有多大的改进作用？
• RQ3 在大规模未标注数据上进行预训练，对减少小规模句子分类任务中的过拟合和提升性能有何影响？
• RQ4 嵌入通道之间的互学习在提升模型泛化能力和性能方面有多有效？
• RQ5 哪些卷积核尺寸和嵌入版本对模型最终性能的贡献最为显著？

主要发现

• MVCNN在四个句子分类任务上达到最先进性能：小规模二分类和多分类情感分析、大规模Twitter情感预测（Senti140）以及主观性分类。
• 移除任意一种预训练词嵌入版本均会导致性能明显下降，表明每种嵌入均以独特且非冗余的方式对最终结果做出贡献。
• 卷积核尺寸为5和7时对性能贡献最大，其中7尺寸尤为显著，表明该粒度最适于分类任务。
• 预训练对性能的正向影响大于互学习，可能是因为其影响范围更广，覆盖了整个词汇表中的词表示。
• 最优卷积层数量因数据集而异：在Standard Sentiment Treebank和主观性分类任务中，两层最佳；而在更大的Senti140数据集中，三层最优。
• 消融实验确认，所有组件——多通道嵌入、可变尺寸卷积核、预训练和互学习——对达到最佳性能均不可或缺，无任一组件可被省略。