[论文解读] Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models

Man Luo, Shrinidhi Kumbhar+6 more|arXiv (Cornell University)|Oct 2, 2023

Semantic Web and Ontologies被引用 5

一句话总结

本文提出了 LogiGLUE，一个涵盖 24 种多样化逻辑推理数据集的综合性基准，涵盖演绎、归因和归纳推理，统一为 Seq2Seq 任务以实现一致的训练与评估。该研究提出 LogiT5 模型，通过在 15K 训练样本下进行思维链推理的知识蒸馏，显著提升了模型在域内和域外推理任务中的泛化能力，取得了优异性能。

ABSTRACT

Logical reasoning is fundamental for humans yet presents a substantial challenge in the domain of Artificial Intelligence. Initially, researchers used Knowledge Representation and Reasoning (KR) systems that did not scale and required non-trivial manual effort. Recently, the emergence of large language models (LLMs) has demonstrated the ability to overcome various limitations of formal Knowledge Representation (KR) systems. Consequently, there's a growing interest in using LLMs for logical reasoning via natural language. This work strives to understand the proficiency of LLMs in logical reasoning by offering a brief review of the latest progress in this area; with a focus on the logical reasoning datasets, tasks, and the methods adopted to utilize LLMs for reasoning. To offer a thorough analysis, we have compiled a benchmark titled LogiGLUE. This includes 24 varied datasets encompassing deductive, abductive, and inductive reasoning. Utilizing LogiGLUE as a foundation, we have trained an instruction fine-tuned language model, resulting in LogiT5. We study single-task training, multi-task training, and "chain-of-thought" knowledge distillation fine-tuning technique to assess the performance of model across the different logical reasoning categories. We also assess various LLMs using LogiGLUE, and the findings indicate that LLMs excel most in abductive reasoning, followed by deductive reasoning, while they are least effective at inductive reasoning. We aim to shed light on the capabilities and potential pathways for enhancing logical reasoning proficiency in LLMs, paving the way for more advanced and nuanced developments in this critical field.

研究动机与目标

• 通过系统性地调研现有数据集、任务和方法论，评估当前大语言模型（LLMs）在逻辑推理能力方面的发展现状。
• 通过创建 LogiGLUE 统一基准，解决大语言模型在逻辑推理方面缺乏标准化评估基准的问题，该基准整合了 24 个多样化数据集。
• 通过指令微调和知识蒸馏技术，特别是思维链提示，提升大语言模型的推理性能。
• 评估大语言模型在域外推理任务上的泛化能力，识别其零样本推理的局限性。
• 为未来逻辑推理研究提供 LogiGLUE 基准和 LogiT5 模型的开源访问。

提出的方法

• 作者将 24 个现有的逻辑推理数据集统一转换为 Seq2Seq 格式，以标准化涵盖演绎、归因和归纳推理等多种推理类型的训练与评估。
• 他们使用单任务、多任务和思维链（CoT）知识蒸馏策略，在 LogiGLUE 上对 Flan-T5 模型进行微调，以评估其在各类推理类别中的性能表现。
• 在 CoT 蒸馏过程中，他们从 LLaMA-7B 在 LogiQA 数据集上生成的推理轨迹中，选取答案正确的样本，构建了 3K、6K 和 15K 的训练集用于蒸馏。
• 为在 CoT 微调期间稳定训练，采用了更高的初始起始学习率（3e-4）和更长的训练周期（40 个周期），观察到随着 CoT 数据量增加，性能有所提升。
• 为评估域外泛化能力，他们采用零样本提示方式，使用 'let’s think step by step'，并利用 ConceptNet 匹配 LLaMA-2 输出中的同义词以进行评估。
• 他们通过精确匹配和基于同义词的匹配方式，在域内（LogiGLUE）和域外数据集（包括 ReClor、Winogrande、BigBench 和 PrOntoQA-OOD）上评估了模型性能，用于 LLaMA-2 的评估。

Figure 1: Logical Reasoning Survey: Datasets and Language Model Application.

实验结果

研究问题

• RQ1 大语言模型能否在多样化、域外数据集上泛化其逻辑推理能力，其零样本能力存在哪些局限性？
• RQ2 思维链知识蒸馏在提升逻辑推理性能方面有多有效？模型性能是否随蒸馏用思维链训练数据量的增加而提升？
• RQ3 在 LogiGLUE 上进行多任务微调是否能提升推理性能，相比单任务或无微调基线？
• RQ4 大语言模型在分布外设置下，对记忆化或已知事实的检索依赖程度有多高，而非真正进行逻辑推理？
• RQ5 不同的提示策略（如 'let’s think step by step'）如何影响 Flan-T5 和 LLaMA-2 等模型的推理性能？

主要发现

• LogiT5 在域内 LogiGLUE 基准上实现了 51.24% 的平均准确率，表明其在多种推理类型中均表现出色。
• 域外泛化能力有限：LLaMA-2 在 PrOntoQA-OOD 上仅取得 6.50% 的准确率，在 WaNLI 上为 15.54%，表明其在未见过的任务上零样本推理能力较差。
• 使用 15K 个 CoT 样本进行思维链蒸馏使性能提升了 4%，表明更大规模、高质量的推理数据能增强模型泛化能力。
• 使用 3K 和 6K 样本进行 CoT 蒸馏并未优于基线微调，表明蒸馏增益对数据量高度敏感，数据量是关键因素。
• Flan-T5 在结构化基准上优于 LLaMA-2，因其指令微调和基于模板的生成方式更有利于可靠评估。
• 人工分析显示，LLaMA-2 常生成基于同义词的答案或忽略输入内容，表明其更依赖记忆知识而非基于上下文的推理。

Figure 2: Examples (top) of three types of logical reasoning and explanations (bottom) correlating each example with its respective reasoning type.