[论文解读] Recurrent Neural Network for Text Classification with Multi-Task Learning

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|May 17, 2016

Topic Modeling参考文献 19被引用 965

一句话总结

该论文提出三种基于RNN的多任务架构，在相关文本分类任务之间共享信息，性能优于单任务学习。

ABSTRACT

Neural network based methods have obtained great progress on a variety of natural language processing tasks. However, in most previous works, the models are learned based on single-task supervised objectives, which often suffer from insufficient training data. In this paper, we use the multi-task learning framework to jointly learn across multiple related tasks. Based on recurrent neural network, we propose three different mechanisms of sharing information to model text with task-specific and shared layers. The entire network is trained jointly on all these tasks. Experiments on four benchmark text classification tasks show that our proposed models can improve the performance of a task with the help of other related tasks.

研究动机与目标

• 通过利用相关任务的多任务学习，在标注数据有限的情况下学习文本表示。
• 提出三种共享架构，以实现任务之间信息交换的不同水平。
• 证明跨任务联合训练在性能上优于单任务基线。
• 探索共享表示与任务特定组件之间的权衡。
• 提供关于门控机制的洞察，控制共享层和任务特定层之间的信息流。

提出的方法

• 在带有LSTM单元的循环神经网络（RNN）基础上，建模可变长度的文本输入。
• 提出三种架构：Model-I Uniform-Layer、Model-II Coupled-Layer、Model-III Shared-Layer，用于多任务共享。
• 引入门控机制，选择性地控制共享层与任务特定层之间的信息流。
• 用联合损失对联合网络进行训练：损失之和，由lambda参数加权（phi = sum_m lambda_m L_hat^ (m)）。
• 使用word2vec预训练初始化并在监督学习期间进行微调的共享和任务特定嵌入。
• 使用四个文本分类数据集（SST-1、SST-2、SUBJ、IMDB）进行评估，并与单任务LSTM及其他神经基线进行比较。

实验结果

研究问题

• RQ1 与单任务LSTM基线相比，带有共享和/或耦合任务架构的多任务学习是否能提升文本分类性能？
• RQ2 哪种共享机制（统一、耦合，或带门控的共享层）在不同数据集上表现最好？
• RQ3 无监督预训练的共享层和微调如何影响多任务性能？
• RQ4 多任务学习对不同数据规模（句子级与文档级）的影响是什么？
• RQ5 所提模型与标准基准上的最先进神经模型相比如何？

主要发现

• 所有三种多任务模型均优于单任务LSTM基线。
• Uniform-layer 架构的平均提升约0.8%（微调前0.8%；微调后2.0%）。
• Coupled-layer 架构在任务对之间显示出改进，平均增益约1.4%（对SST1-SST2对的增益高达2.3%）。
• Shared-layer 架构的平均增益约1.4%，并且通过语言模型预训练（+0.5%）和微调（+0.9%）获得额外提升。
• 带有共享层的多任务模型（Model-III）在若干先进神经模型上具有竞争力的结果，Multi-Task在SST-1上为49.6%，SST-2上为87.9%，SUBJ为94.1%，IMDB为91.3%（表格对比）。
• 最复杂的Model-III的训练成本约是原生LSTM的2.5倍，但收敛更快。