[论文解读] Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge.

Alon Talmor, Oyvind Tafjord+3 more|arXiv (Cornell University)|Jun 11, 2020

Topic Modeling参考文献 37被引用 13

一句话总结

本文提出一种方法，通过自动生成的数据集，使预训练语言模型能够系统性地推理其参数中编码的隐含知识以及显式的符号事实。主要贡献在于证明了模型能够学习执行复杂的、组合性的推理——例如事实链式推理、计数和分类层级推理——并能泛化到训练分布之外，将多种推理技能组合于单一示例中。

ABSTRACT

To what extent can a neural network systematically reason over symbolic facts? Evidence suggests that large pre-trained language models (LMs) acquire some reasoning capacity, but this ability is difficult to control. Recently, it has been shown that Transformer-based models succeed in consistent reasoning over explicit symbolic facts, under a closed-world assumption. However, in an open-domain setup, it is desirable to tap into the vast reservoir of implicit knowledge already encoded in the parameters of pre-trained LMs. In this work, we provide a first demonstration that LMs can be trained to reliably perform systematic reasoning combining both implicit, pre-trained knowledge and explicit natural language statements. To do this, we describe a procedure for automatically generating datasets that teach a model new reasoning skills, and demonstrate that models learn to effectively perform inference which involves implicit taxonomic and world knowledge, chaining and counting. Finally, we show that teaching models to reason generalizes beyond the training distribution: they successfully compose the usage of multiple reasoning skills in single examples. Our work paves a path towards open-domain systems that constantly improve by interacting with users who can instantly correct a model by adding simple natural language statements.

研究动机与目标

• 研究预训练语言模型是否可被训练以系统性地推理隐含知识和显式符号事实。
• 解决大型语言模型推理控制问题，此类模型通常缺乏系统性泛化能力。
• 开发一种可扩展的训练数据生成方法，以教授模型新的推理技能。
• 评估模型是否能将推理技能泛化到训练分布之外，特别是在组合性设置下。
• 实现开放域系统，使其可通过用户提供的自然语言修正持续改进。

提出的方法

• 自动生成合成数据集，用于教会模型将隐含知识与显式自然语言陈述结合进行推理。
• 设计需要系统性推理的训练样本，例如事实链式推理、实体计数和分类层级应用。
• 在这些合成数据集上微调标准预训练语言模型，以学习结构化推理模式。
• 训练期间采用封闭世界假设以确保一致性，同时通过隐含知识实现开放域推理。
• 采用类似课程的学习数据生成策略，逐步提升推理复杂度。
• 通过测试包含多种训练期间未见推理技能组合的示例，验证泛化能力。

实验结果

研究问题

• RQ1 预训练语言模型能否被训练以系统性地推理隐含知识和显式符号事实？
• RQ2 自动生成的数据集能否有效教会模型新的推理技能，如链式推理、计数和分类层级推理？
• RQ3 模型在未见过的组合性示例中是否能将多种推理技能泛化，这些示例结合了训练期间未出现的多种推理技能？
• RQ4 在开放域设置下，模型在推理隐含知识时表现如何？
• RQ5 用户能否通过简单的自然语言修正来改善模型行为，从而实现持续学习？

主要发现

• 在合成数据集上微调的模型成功执行了涉及隐含知识（如分类和世界知识）的系统性推理。
• 模型在组合性推理任务中表现出泛化能力，能正确地在单一示例中组合多种推理技能（例如链式推理与计数）。
• 与未采用该训练流程的基线模型相比，推理性能显著提升。
• 该方法通过利用预训练知识，无需显式检索，即可在开放域设置中实现可靠推理。
• 该方法支持持续学习，用户可通过简单的自然语言语句对模型进行修正。