[论文解读] Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement

Linlu Qiu, Liwei Jiang+9 more|arXiv (Cornell University)|Oct 12, 2023

Topic Modeling被引用 4

一句话总结

本文通过迭代式假设优化方法——一种模仿人类推理过程的规则生成、测试与优化方法——研究了大语言模型（LMs）的归纳推理能力。尽管在提出合理规则方面表现出色，但LMs在应用自身规则时暴露出关键缺陷，揭示出一种悖论：它们是卓越的规则提出者，却在推理上令人困惑，凸显了LMs在假设生成与规则应用之间存在的鸿沟。

ABSTRACT

The ability to derive underlying principles from a handful of observations and then generalize to novel situations -- known as inductive reasoning -- is central to human intelligence. Prior work suggests that language models (LMs) often fall short on inductive reasoning, despite achieving impressive success on research benchmarks. In this work, we conduct a systematic study of the inductive reasoning capabilities of LMs through iterative hypothesis refinement, a technique that more closely mirrors the human inductive process than standard input-output prompting. Iterative hypothesis refinement employs a three-step process: proposing, selecting, and refining hypotheses in the form of textual rules. By examining the intermediate rules, we observe that LMs are phenomenal hypothesis proposers (i.e., generating candidate rules), and when coupled with a (task-specific) symbolic interpreter that is able to systematically filter the proposed set of rules, this hybrid approach achieves strong results across inductive reasoning benchmarks that require inducing causal relations, language-like instructions, and symbolic concepts. However, they also behave as puzzling inductive reasoners, showing notable performance gaps between rule induction (i.e., identifying plausible rules) and rule application (i.e., applying proposed rules to instances), suggesting that LMs are proposing hypotheses without being able to actually apply the rules. Through empirical and human analyses, we further reveal several discrepancies between the inductive reasoning processes of LMs and humans, shedding light on both the potentials and limitations of using LMs in inductive reasoning tasks.

研究动机与目标

• 通过系统性地优化假设，探究大语言模型（LMs）是否能够实现类似于人类的归纳推理。
• 评估在多种推理任务中，大语言模型在假设生成与规则应用之间的差距。
• 识别人类与大语言模型在归纳推理过程中的差异，特别是在鲁棒性与实用规则构建方面。
• 开发并验证一种结合大语言模型与符号解释器的混合框架，以提升归纳推理能力。
• 揭示当前大语言模型在规则归纳过程中对扰动或新示例泛化能力的局限性。

提出的方法

• 采用迭代式假设优化：通过大语言模型提出候选规则，使用符号解释器选择表现最佳的规则，并在多轮迭代中进行优化。
• 使用特定任务的符号解释器（如代码或语法解析器）来验证训练示例中规则的正确性。
• 生成自由形式或受约束的自然语言规则，可选地将其转换为可执行格式（如代码）以供解释。
• 在四个不同的归纳推理任务中应用该方法：因果关系、组合指令、符号运算和视觉概念。
• 引入反馈回路，通过规则在测试示例上的表现指导优化过程，并辅以人工评估规则的质量与形式。
• 在消融研究中引入噪声示例，以测试模型对输入表示扰动的鲁棒性。

实验结果

研究问题

• RQ1 与标准的输入输出提示方法相比，迭代式假设优化是否能提升大语言模型的归纳推理性能？
• RQ2 大语言模型在多大程度上能生成既合理又可正确应用于未见实例的规则？
• RQ3 与人类相比，大语言模型在规则归纳过程中的鲁棒性与实用规则构建方面表现如何？
• RQ4 为何大语言模型在提出正确假设后，仍无法应用自身提出的规则？
• RQ5 大语言模型生成的规则对示例表示中的微小扰动有多敏感？

主要发现

• 大语言模型在生成候选规则方面极为高效，在所有测试任务中均展现出强大的假设提出能力。
• 尽管规则生成能力强大，大语言模型在规则归纳与规则应用之间仍存在显著性能差距，许多提出的规则在应用于测试实例时失败。
• 大语言模型对示例表示中的微小扰动（如物体顺序或措辞变化）极为脆弱，而人类则能稳健地进行泛化。
• 人工评估显示，大语言模型生成的规则通常冗长，缺乏人类归纳规则所具备的简洁性与实用清晰度。
• 将大语言模型与符号解释器结合的混合方法在所有基准测试中显著优于标准的输入输出提示方法，尤其在因果关系和组合规则归纳等复杂任务中表现突出。
• 实证分析表明，规则应用错误并非源于规则表述本身质量差，而是由于大语言模型无法正确理解或执行其自身规则描述。