[论文解读] Natural Language Processing (almost) from Scratch

Ronan Collobert, Jason Weston+4 more|arXiv (Cornell University)|Mar 2, 2011

Topic Modeling参考文献 95被引用 5,175

一句话总结

该论文提出一种统一的神经网络架构，在最少的特定任务工程特征下训练，以解决POS标注、分块、命名实体识别和语义角色标注，利用大量未标注数据学习内部表征并将其迁移到监督基准。

ABSTRACT

We propose a unified neural network architecture and learning algorithm that can be applied to various natural language processing tasks including: part-of-speech tagging, chunking, named entity recognition, and semantic role labeling. This versatility is achieved by trying to avoid task-specific engineering and therefore disregarding a lot of prior knowledge. Instead of exploiting man-made input features carefully optimized for each task, our system learns internal representations on the basis of vast amounts of mostly unlabeled training data. This work is then used as a basis for building a freely available tagging system with good performance and minimal computational requirements.

研究动机与目标

• 通过从数据中学习表征来减少NLP中的任务特定特征工程的动机。
• 开发一个可应用于多种NLP任务（POS、CHUNK、NER、SRL）的单一神经架构。
• 探索在大量未标注语料上的预训练对将学习到的表征迁移到监督基准的影响。
• 研究多任务监督训练并评估标准NLP任务特定工程的价值。
• 评估在很大程度上通过学习得到的系统上，标准工程还能提升多少。

提出的方法

• 引入一个统一的多层神经网络架构，通过可训练的查找表在单词索引上操作以形成单词表征。
• 使用基于窗口或基于句子的（卷积）方法来提取用于标注的更高级特征。
• 采用词级似然（对标签的softmax）或句子级似然（类似CRF，带转移分数）来建模标签依赖关系。
• 通过多个查找表将离散特征扩展输入并连接，形成综合单词表征。
• 对分块、NER和SRL应用标注方案（IOBES）以符合标准评估协议。
• 利用大量未标注数据（约8.52亿词）通过语言模型进行表征预训练，并迁移到监督任务。
• 可选地结合多任务监督训练并评估标准NLP工程的收益。

实验结果

研究问题

• RQ1 一个端到端的单一神经架构是否能够在不大量特征工程的情况下，在POS标注、分块、NER和SRL等任务上获得具有竞争力的结果？
• RQ2 在同一框架内，基于窗口的方法和基于句子的（卷积）方法在不同NLP任务中的比较如何？
• RQ3 在大规模未标注语料上的预训练对提升监督基准表现有何影响？
• RQ4 多任务监督训练是否能带来除了单任务训练之外的额外收益？
• RQ5 在很大程度上通过学习得到的系统上，标准NLP工程还能在多大程度上提升性能？

主要发现

• 统一的神经网络架构可以在最少任务特定工程的情况下应用于POS、CHUNK、NER和SRL。
• 单词表征通过可训练的查找表学习，使端到端从原始单词或离散特征中进行特征学习成为可能。
• 基于窗口的标注在大多数任务上表现良好，而SRL受益于基于句子的卷积方法及全局最大池化以捕捉句子级信息。
• 可以使用词级交叉熵或包含标签转移的句子级似然进行训练，以建模带标签的序列。
• 利用大量未标注数据进行语言建模来预训练表征，并将其迁移到监督任务，在标准基准上实现性能提升。
• 作者还探讨了多任务监督训练并评估手工特征工程还能在多大程度上提升结果，指出通用性与工程量之间的权衡。