[论文解读] Task-specific Objectives of Pre-trained Language Models for Dialogue Adaptation

Junlong Li, Zhuosheng Zhang+3 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling参考文献 45被引用 20

一句话总结

本文提出对话自适应预训练目标（DAPO），一种面向对话导向语言模型的任务特定预训练方法。通过在领域内对话语料上使用对话质量度量作为目标进行预训练，DAPO增强了模型对对话特异性特征的理解，从而在下游对话自然语言处理任务中显著优于通用语言模型预训练方法和强基线模型。

ABSTRACT

Pre-trained Language Models (PrLMs) have been widely used as backbones in lots of Natural Language Processing (NLP) tasks. The common process of utilizing PrLMs is first pre-training on large-scale general corpora with task-independent LM training objectives, then fine-tuning on task datasets with task-specific training objectives. Pre-training in a task-independent way enables the models to learn language representations, which is universal to some extent, but fails to capture crucial task-specific features in the meantime. This will lead to an incompatibility between pre-training and fine-tuning. To address this issue, we introduce task-specific pre-training on in-domain task-related corpora with task-specific objectives. This procedure is placed between the original two stages to enhance the model understanding capacity of specific tasks. In this work, we focus on Dialogue-related Natural Language Processing (DrNLP) tasks and design a Dialogue-Adaptive Pre-training Objective (DAPO) based on some important qualities for assessing dialogues which are usually ignored by general LM pre-training objectives. PrLMs with DAPO on a large in-domain dialogue corpus are then fine-tuned for downstream DrNLP tasks. Experimental results show that models with DAPO surpass those with general LM pre-training objectives and other strong baselines on downstream DrNLP tasks.

研究动机与目标

• 解决通用预训练目标与对话特异性自然语言处理任务之间的不兼容性。
• 通过整合标准语言建模中常被忽略的任务特异性语言特征，提升对话理解能力。
• 通过针对性预训练，提升模型在下游对话相关自然语言处理任务中的表现。
• 证明在领域内、使用对话感知目标进行任务特定预训练，相比标准预训练能实现更好的泛化能力。

提出的方法

• 基于关键对话质量度量（如连贯性、一致性、相关性）设计对话自适应预训练目标（DAPO）。
• 使用DAPO而非标准掩码语言建模方法，在领域内对话语料上对大规模预训练语言模型进行预训练。
• 在标准预训练与微调阶段之间引入DAPO，使模型适应对话特异性表征。
• 利用领域内对话数据捕捉通用预训练所遗漏的任务特异性语言模式。
• 在下游对话自然语言处理任务（如响应选择、对话状态追踪、对话生成）上微调DAPO增强的模型。
• 利用现有PrLM架构（如BERT型）并调整其目标函数，优先考虑对话特异性质量信号。

实验结果

研究问题

• RQ1 与通用语言建模目标相比，任务特定预训练目标是否能提升对话模型性能？
• RQ2 对话特异性质量度量在对话自然语言处理任务预训练中的有效性如何？
• RQ3 在领域内对话语料上使用DAPO进行预训练，是否能带来优于标准预训练的下游性能？
• RQ4 DAPO在多大程度上缓解了对话建模中预训练与微调之间的不匹配问题？

主要发现

• 使用DAPO预训练的模型在所有下游对话自然语言处理任务中均优于使用标准语言建模目标预训练的模型。
• DAPO增强的模型在基准对话数据集上的表现达到或超过当前最先进水平，优于强基线模型。
• 在需要对话连贯性和上下文理解的任务中，性能提升尤为显著。
• 消融实验证实，DAPO中的对话特异性目标对性能提升有显著贡献，而不仅仅是数据规模或模型大小带来的影响。