[论文解读] Thinking Aloud: Dynamic Context Generation Improves Zero-Shot Reasoning Performance of GPT-2

Gregor Betz, Kyle Richardson+1 more|arXiv (Cornell University)|Mar 24, 2021

Topic Modeling参考文献 46被引用 16

一句话总结

本文提出动态问题详述——即GPT-2实时生成推理上下文以提升其自身零样本推理性能。通过以自生成的、语义连贯的详述扩展输入上下文，该模型在演绎推理任务上的准确率最高提升24%，其有效性取决于详述的连贯性与问题特征。

ABSTRACT

Thinking aloud is an effective meta-cognitive strategy human reasoners apply to solve difficult problems. We suggest to improve the reasoning ability of pre-trained neural language models in a similar way, namely by expanding a task's context with problem elaborations that are dynamically generated by the language model itself. Our main result is that dynamic problem elaboration significantly improves the zero-shot performance of GPT-2 in a deductive reasoning and natural language inference task: While the model uses a syntactic heuristic for predicting an answer, it is capable (to some degree) of generating reasoned additional context which facilitates the successful application of its heuristic. We explore different ways of generating elaborations, including fewshot learning, and find that their relative performance varies with the specific problem characteristics (such as problem difficulty). Moreover, the effectiveness of an elaboration can be explained in terms of the degree to which the elaboration semantically coheres with the corresponding problem. In particular, elaborations that are most faithful to the original problem description may boost accuracy by up to 24%.

研究动机与目标

• 探究动态问题详述（即语言模型为自身生成推理上下文）是否能提升GPT-2的零样本推理性能。
• 评估自生成详述是否能缓解GPT-2在演绎推理过程中因句法启发式带来的偏差。
• 分析不同详述策略（自由式、少样本式、分段式）在不同问题特征下的性能影响。
• 确定详述与原始问题之间的语义连贯性是否能预测推理准确率的提升。
• 探索通过自生成上下文在不进行微调的情况下自举推理能力的可行性。

提出的方法

• 在自省式设置中使用GPT-2动态生成问题详述：模型在回答前先生成上下文。
• 采用三种详述类型：自由式（非结构化生成）、少样本式（上下文示例）和分段式（碎片化、任务特定查询）。
• 将详述后的上下文作为输入，输入到同一GPT-2模型中，对ChainRuler数据集进行零样本推理。
• 通过多跳自然语言蕴含和演绎推理任务（答案为是/否）衡量性能。
• 通过与基线（无详述）的准确率提升以及详述与原始问题的连贯性，评估详述的有效性。
• 使用基于oracle的评估方法，以隔离详述语义忠实度的影响。

实验结果

研究问题

• RQ1 动态问题详述是否能显著提升GPT-2在演绎推理任务上的零样本推理性能？
• RQ2 不同详述策略（自由式、少样本式、分段式）在问题难度和结构不同的情况下的有效性如何变化？
• RQ3 详述与原始问题之间的语义连贯性在多大程度上能预测性能提升？
• RQ4 问题描述中是否存在否定词是否会影响特定详述类型的效用？
• RQ5 自生成详述能否减少GPT-2句法启发式带来的系统性偏差？

主要发现

• 动态问题详述使GPT-2在ChainRuler数据集上的零样本推理准确率最高提升24%，其中最忠实的分段式详述带来的增益最高。
• 最连贯的详述——尤其是与原始问题语义忠实的详述——相比无详述情况，准确率提升达24%。
• 当问题中不存在否定词时，少样本详述表现出强劲性能，但在所有问题类型中并不总是优于其他方法。
• 不同详述类型在不同问题特征下表现优异，表明其有效性具有上下文依赖性。
• 详述中的冗余并非缺陷；重复陈述可传递模型信心，并通过强化推理步骤来提升性能。
• 模型的基线行为依赖于一种句法启发式，当存在干扰项或逆命题时会导致系统性错误，而详述有助于缓解此类错误。