[论文解读] Pre-training Text-to-Text Transformers for Concept-centric Common Sense

Wangchunshu Zhou, Dong‐Ho Lee+3 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 39被引用 35

一句话总结

本文提出了一种面向文本到文本转换器的概念中心预训练框架，通过整合生成式和对比式目标，显式地将常识知识注入预训练模型。通过在这些中间任务上微调基于T5的模型（CALM），该方法在五个常识基准上均提升了性能，在无需依赖外部知识库的情况下，持续优于基线模型，涵盖自然语言理解（NLU）和自然语言生成（NLG）任务。

ABSTRACT

Pretrained language models (PTLM) have achieved impressive results in a range of natural language understanding (NLU) and generation (NLG) tasks that require a syntactic and semantic understanding of the text. However, current pre-training objectives such as masked token prediction (for BERT-style PTLMs) and masked span infilling (for T5-style PTLMs) do not explicitly model the relational and compositional commonsense knowledge about everyday concepts, which is crucial to many downstream tasks requiring commonsense reasoning. To augment PTLMs with common sense, we propose generative and contrastive objectives as intermediate self-supervised pre-training tasks between general pre-training and downstream task-specific fine-tuning. We also propose a joint training framework to unify generative and contrastive objectives so that these objectives can be more effective. Our proposed objectives can pack more commonsense knowledge into the parameters of a pre-trained text-to-text transformer without relying on external knowledge bases, yielding better performance on both NLU and NLG tasks. We apply our method on a pre-trained T5 model in an intermediate task transfer learning fashion to train a concept-aware language model (CALM) and experiment with five commonsense benchmarks (four NLU tasks and one NLG task). Experimental results show that CALM outperforms baseline methods by a consistent margin.

研究动机与目标

• 为解决现有预训练目标在建模日常概念之间关系与组合性常识知识方面的局限性。
• 开发中间自监督预训练任务，显式地将常识知识注入文本到文本转换器。
• 在联合训练框架中统一生成式与对比式目标，实现更有效的知识压缩。
• 在不依赖外部知识库的前提下，提升下游NLU与NLG任务中常识推理的性能。
• 通过在五个常识基准上的广泛评估，证明概念中心预训练的有效性。

提出的方法

• 提出一种生成式目标，使模型在给定上下文的情况下预测常识概念，以增强知识整合。
• 引入一种对比式目标，促使模型在掩码上下文中区分正确与错误的常识概念。
• 设计一种联合训练框架，在中间预训练期间同时优化生成式与对比式目标。
• 在迁移学习设置中将该方法应用于预训练的T5模型，从而得到一种概念感知语言模型（CALM）。
• 使用经过筛选的常识示例数据集，在双重目标下对CALM进行预训练，随后在下游任务上进行微调。
• 采用文本到文本格式，以保持与现有T5风格模型及下游任务流程的兼容性。

实验结果

研究问题

• RQ1 联合生成式与对比式预训练目标能否有效将常识知识注入预训练的文本到文本转换器？
• RQ2 与标准预训练目标相比，该方法在常识推理任务上的性能提升程度如何？
• RQ3 缺乏外部知识库在多大程度上影响模型性能？内部知识压缩是否足以胜任？
• RQ4 联合优化生成式与对比式目标是否比单独使用任一目标带来更好的泛化能力？
• RQ5 CALM在涵盖NLU与NLG任务的多样化常识基准上表现如何？

主要发现

• CALM在所有五个常识基准上均优于基线模型，表明在NLU与NLG任务中均实现了持续改进。
• 联合训练生成式与对比式目标相比单独使用任一目标，能实现更优的知识整合。
• 该模型在不依赖外部知识库的情况下实现性能提升，表明常识知识的内部参数化是有效的。
• 该方法通过中间预训练成功增强了模型对日常概念进行推理的能力。
• 结果表明，概念中心预训练显著提升了文本到文本转换器的推理能力。
• 在需要组合性与关系性常识理解的任务中，性能提升尤为显著。