[论文解读] Very Deep Convolutional Networks for Natural Language Processing.

Alexis Conneau, Holger Schwenk+2 more|arXiv (Cornell University)|Jun 6, 2016

Topic Modeling参考文献 13被引用 222

一句话总结

本文提出了一种非常深的卷积神经网络（最多29层），通过仅使用小卷积和池化操作，直接在字符级别处理文本。该方法在多个文本分类任务中实现了最先进性能，证明了更深的网络架构能显著提升自然语言处理性能，标志着非常深的卷积神经网络在自然语言处理中的首次成功应用。

ABSTRACT

The dominant approach for many NLP tasks are recurrent neural networks, in particular LSTMs, and convolutional neural networks. However, these architectures are rather shallow in comparison to the deep convolutional networks which are very successful in computer vision. We present a new architecture for text processing which operates directly on the character level and uses only small convolutions and pooling operations. We are able to show that the performance of this model increases with the depth: using up to 29 convolutional layers, we report significant improvements over the state-of-the-art on several public text classification tasks. To the best of our knowledge, this is the first time that very deep convolutional nets have been applied to NLP.

研究动机与目标

• 探索是否可以将计算机视觉中取得成功的非常深的卷积网络有效应用于自然语言处理任务。
• 通过提出更深的模型，解决自然语言处理中浅层架构（如基于RNN和标准CNN的模型）的局限性。
• 证明增加网络深度可在不依赖LSTM等循环结构的情况下提升文本分类性能。
• 通过仅使用卷积和池化操作在字符级别建立文本分类的新基线。

提出的方法

• 该模型在字符级别直接处理原始文本，将字符序列直接输入网络。
• 仅使用小卷积核（例如，卷积核大小为3）和最大池化层来提取分层特征。
• 该架构堆叠最多29层卷积层，实现深层分层表征学习。
• 每层卷积层应用ReLU激活函数，并在序列上共享权重，以捕捉局部模式。
• 池化层减少空间维度，并保留感受野内最显著的特征。
• 通过全局最大池化或全连接层读出最终表征以进行分类。

实验结果

研究问题

• RQ1 能否借鉴计算机视觉中成功经验，使非常深的卷积网络在自然语言处理任务中实现更优性能？
• RQ2 当在字符级别运行时，增加CNN架构的深度是否能提升文本分类性能？
• RQ3 纯卷积架构能否在不使用注意力或循环机制的情况下，优于LSTM等循环模型进行文本分类？
• RQ4 深度带来的性能提升是否在多个公开文本分类基准上保持一致？

主要发现

• 该模型在多个公开文本分类数据集上实现了最先进性能，优于先前方法。
• 随着深度增加，性能显著提升，表明深度与准确率之间存在强烈正相关性。
• 该架构仅使用小卷积和池化操作即实现优异结果，无需循环或注意力机制。
• 该模型在字符级别上表现有效，无需词级别分词或预训练嵌入。
• 29层架构取得了最佳性能，证实了在自然语言处理中非常深网络的优势。
• 本工作首次成功将非常深的CNN应用于自然语言处理，为纯卷积模型设立了新基准。