[论文解读] Neural Skill Transfer from Supervised Language Tasks to Reading Comprehension

Todor Mihaylov, Zornitsa Kozareva+1 more|arXiv (Cornell University)|Nov 10, 2017

Topic Modeling参考文献 34被引用 5

一句话总结

本文提出了一种神经技能迁移方法，通过将预训练的有监督语言任务（如命名实体识别、文本蕴含、释义检测和问题类型分类）中的知识注入到简单的问答模型中，从而提升阅读理解性能。该方法通过采用逐标记的标签监督和技能编码器的微调，在早期训练阶段和数据量有限的情况下实现了显著的性能提升，优于未使用技能迁移的基线模型。

ABSTRACT

Reading comprehension is a challenging task in natural language processing and requires a set of skills to be solved. While current approaches focus on solving the task as a whole, in this paper, we propose to use a neural network `skill' transfer approach. We transfer knowledge from several lower-level language tasks (skills) including textual entailment, named entity recognition, paraphrase detection and question type classification into the reading comprehension model. We conduct an empirical evaluation and show that transferring language skill knowledge leads to significant improvements for the task with much fewer steps compared to the baseline model. We also show that the skill transfer approach is effective even with small amounts of training data. Another finding of this work is that using token-wise deep label supervision for text classification improves the performance of transfer learning.

研究动机与目标

• 通过从低层次的有监督语言任务中迁移知识，而非端到端训练，来提升阅读理解性能。
• 探究预训练的‘技能’（如 NER、文本蕴含和问题类型分类）是否能增强简单的 QA 模型。
• 评估技能迁移对训练效率和数据效率的影响，特别是在小规模训练子集（2%、5%、10%、25%）下的表现。
• 考察在问答迁移学习中，逐标记标签监督与逐句监督相比，哪种方式更有效。
• 提供一种模块化、可解释的框架，用于分析哪些具体语言技能对阅读理解有贡献。

提出的方法

• 在四个语言技能的标注数据集上分别训练 Bi-LSTM 编码器：NER（CoNLL 2012）、文本蕴含（SNLI）、释义检测（PPDB）和问题类型分类（TREC）。
• 复用每个技能任务中训练好的上下文编码器权重，用于初始化一个简单阅读理解模型中的上下文编码器。
• 通过在 QA 模型中共享上下文编码器权重，整合技能表征，实现在不重新训练整个架构的前提下实现知识迁移。
• 对文本分类任务应用逐标记的标签监督，其中每个标记的表征被投影到标签空间，并求和以生成句子级预测。
• 在 QA 训练过程中微调技能编码器权重，以适应目标任务，同时评估固定权重下的性能表现。
• 使用 F1 和精确匹配（EM）指标在 SQuAD 开发集上评估模型，比较全量数据和减少数据的训练设置。

实验结果

研究问题

• RQ1 与标准基线相比，从多个有监督语言任务中迁移知识是否能提升阅读理解性能？
• RQ2 技能迁移如何影响训练动态，特别是在早期训练阶段？
• RQ3 当仅使用一小部分训练数据（如 2%、5%）时，技能迁移在多大程度上能提升性能？
• RQ4 在文本分类任务中，逐标记标签监督是否比逐句监督带来更好的迁移性能？
• RQ5 哪些具体技能（NER、TE、PPDB、QC）对提升阅读理解贡献最大？

主要发现

• 所有四个技能任务均经过微调的模型在 SQuAD 开发集上达到 F1 分数 60.92 和 EM 48.70，优于无技能的基线模型（F1: 59.41，EM: 46.90）。
• 即使仅使用 2% 的训练数据，该技能迁移模型在 1,000 次训练步骤内性能也优于基线模型或随机权重模型。
• 问题类型分类任务中采用逐标记标签监督显著优于逐句监督，尤其在早期训练阶段，如图 4 所示。
• 消融实验表明，移除任意一个技能都会导致性能下降，其中移除 NER 导致的下降最大（EM 从 48.70 降至 48.52），表明其贡献显著。
• 所有技能均参与且权重经过微调的模型达到最高性能，表明联合技能迁移具有有效性和协同效应。
• 该方法在早期训练阶段表现出一致的性能增益，表明技能迁移可加速学习并提升样本效率。