[论文解读] Story Ending Prediction by Transferable BERT

Zhongyang Li, Xiao Ding+1 more|arXiv (Cornell University)|May 17, 2019

Topic Modeling参考文献 22被引用 11

一句话总结

本文提出 TransBERT，一种三阶段迁移学习框架，通过在语义相关的监督任务（自然语言蕴涵（MNLI）、情感分类和下一步动作预测）上微调，增强 BERT 在故事结尾预测上的性能，其在 SCT_v1.0 上达到 91.8% 的准确率，在 SCT_v1.5 上达到 90.3%，通过从多样化任务中迁移可复用的知识，改进模型初始化，从而实现新的 SOTA 结果。

ABSTRACT

Recent advances, such as GPT and BERT, have shown success in incorporating a pre-trained transformer language model and fine-tuning operation to improve downstream NLP systems. However, this framework still has some fundamental problems in effectively incorporating supervised knowledge from other related tasks. In this study, we investigate a transferable BERT (TransBERT) training framework, which can transfer not only general language knowledge from large-scale unlabeled data but also specific kinds of knowledge from various semantically related supervised tasks, for a target task. Particularly, we propose utilizing three kinds of transfer tasks, including natural language inference, sentiment classification, and next action prediction, to further train BERT based on a pre-trained model. This enables the model to get a better initialization for the target task. We take story ending prediction as the target task to conduct experiments. The final result, an accuracy of 91.8%, dramatically outperforms previous state-of-the-art baseline methods. Several comparative experiments give some helpful suggestions on how to select transfer tasks. Error analysis shows what are the strength and weakness of BERT-based models for story ending prediction.

研究动机与目标

• 为解决标准预训练与微调在 BERT 中的局限性，即仅依赖无监督语言建模，可能无法为目标任务提供最优初始化。
• 探究如何有效迁移相关任务的监督知识，以提升故事结尾预测（SCT）的性能。
• 识别有效的迁移任务，并基于语义相关性和性能增益提供选择指南。
• 通过错误分析，分析基于 BERT 的模型在故事理解中的优缺点。

提出的方法

• 提出三阶段 TransBERT 框架：(1) 在大规模未标注文本上预训练 BERT，(2) 在三个监督任务（MNLI、情感分类和下一步动作预测）上进一步预训练，利用迁移学习，(3) 在目标 SCT 任务上微调。
• 使用与 SCT 语义相关的迁移任务：MNLI 用于蕴涵/矛盾推理，情感分类用于心理状态理解，下一步动作预测用于叙事延续。
• 采用多任务学习策略，联合预训练迁移任务，使知识蒸馏进入 BERT 编码器，再在 SCT 上微调。
• 以最少的任务特定参数微调最终模型，保持预训练 BERT 权重不变，同时适应 SCT 的多选格式。
• 进行广泛的消融研究，评估每个迁移任务的贡献，并比较单任务与多任务预训练。
• 进行错误分析，识别失败案例，并评估模型在推理和常识理解方面的行为。

实验结果

研究问题

• RQ1 从多个语义相关的监督任务迁移知识，是否能超越标准预训练与微调，提升 BERT 在故事结尾预测上的性能？
• RQ2 在自然语言蕴涵、情感分类和下一步动作预测中，哪类迁移任务对故事结尾预测最有帮助？
• RQ3 在多个迁移任务上进行多任务预训练，是否比单任务预训练带来更好的性能？
• RQ4 基于 BERT 的模型在故事结尾预测中的关键失败模式是什么？它们与推理和常识理解有何关联？

主要发现

• MNLI 增强的 BERT 模型在 SCT_v1.0 基准上达到 91.8% 的准确率，显著优于之前的 SOTA 方法。
• 该模型在更新的 SCT_v1.5 盲测数据集上达到 90.3% 的准确率，表现出强大的泛化能力和鲁棒性。
• 仅从 MNLI 迁移即可带来最大的性能提升，其次是情感分类和下一步动作预测，表明蕴涵推理与 SCT 高度相关。
• 在所有三个迁移任务上进行多任务预训练并未带来优于单任务预训练的进一步提升，表明 MNLI 是主导贡献者。
• 错误分析显示，基于 BERT 的模型在长距离依赖和隐含常识推理方面存在困难，尤其当正确结尾需要理解细微的情绪或心理变化时。
• 本研究为选择迁移任务提供了实用指南：任务应与目标任务语义相关，并共享底层推理模式，即使任务形式不同。