[论文解读] When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks

Hao Peng, Xiaozhi Wang+9 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用 5

一句话总结

本文研究了少样本提示学习（ICL）在需要大量详细指令的复杂自然语言处理任务中失败的原因。研究发现，尽管大语言模型具备强大的通用能力，但在这些需要详尽说明的任务上表现不佳。作者识别出三个核心失败原因：对上下文的特定理解能力差、任务模板理解不一致，以及长上下文推理能力有限。微调显著提升了性能，表明问题不在于大语言模型本身，而在于ICL无法与复杂规范对齐。

ABSTRACT

In-context learning (ICL) has become the default method for using large language models (LLMs), making the exploration of its limitations and understanding the underlying causes crucial. In this paper, we find that ICL falls short of handling specification-heavy tasks, which are tasks with complicated and extensive task specifications, requiring several hours for ordinary humans to master, such as traditional information extraction tasks. The performance of ICL on these tasks mostly cannot reach half of the state-of-the-art results. To explore the reasons behind this failure, we conduct comprehensive experiments on 18 specification-heavy tasks with various LLMs and identify three primary reasons: inability to specifically understand context, misalignment in task schema comprehension with humans, and inadequate long-text understanding ability. Furthermore, we demonstrate that through fine-tuning, LLMs can achieve decent performance on these tasks, indicating that the failure of ICL is not an inherent flaw of LLMs, but rather a drawback of existing alignment methods that renders LLMs incapable of handling complicated specification-heavy tasks via ICL. To substantiate this, we perform dedicated instruction tuning on LLMs for these tasks and observe a notable improvement. We hope the analyses in this paper could facilitate advancements in alignment methods enabling LLMs to meet more sophisticated human demands.

研究动机与目标

• 调查少样本提示学习（ICL）在需要大量详细指令的任务上的局限性。
• 识别ICL在这些任务上表现不佳的根本原因，尤其与微调模型进行对比。
• 确定失败是源于大语言模型的固有局限性，还是当前对齐方法的缺陷。
• 评估微调是否能缩小ICL与最先进结果在这些复杂任务上的性能差距。

提出的方法

• 在18项需要详尽说明的任务上评估了6个大语言模型，包括事件检测和关系抽取，采用少样本提示学习与少样本示范。
• 进行了广泛的错误分析，以诊断失败模式，重点关注上下文理解、模板不一致和长上下文理解能力。
• 对FLAN-UL2（200亿参数）在每个任务上进行指令微调，以评估大语言模型在微调下的性能上限。
• 系统性地比较了不同模型规模下ICL与微调模型的性能，以评估扩展行为。
• 分析了在任务说明不完整条件下的模型行为，以评估模型模板理解与人类定义的一致性。
• 通过控制提示变化（例如，将动词从'was arrested'改为'arrived'）测试对上下文细节的敏感性。

Figure 1: An example specification-heavy task: ACE 2005 event detection. This task involves heavy specifications which would take ordinary humans substantial time to learn. Therefore, solving the task using LLMs with in-context learning is challenging.

实验结果

研究问题

• RQ1 为何在其他设置中具备强大泛化能力的少样本提示学习，在需要详尽说明的任务上仍表现不佳？
• RQ2 当在具有复杂、冗长说明的任务上应用ICL时，大语言模型的主要失败模式是什么？
• RQ3 微调在多大程度上能缩小ICL与最先进结果在这些任务上的性能差距？
• RQ4 ICL表现不佳是由于大语言模型的固有局限性，还是当前对齐技术的缺陷所致？
• RQ5 模型规模如何影响在需要详尽说明任务上的微调性能？

主要发现

• ICL在18项需要详尽说明的任务上的表现低于微调小模型所达到的最先进结果的50%。
• 大语言模型经常无法理解具体上下文细节，往往依赖内部知识而非提供的上下文。
• 大量错误源于任务模板理解不一致——例如，错误地将事件类型预测为'BUSINESS'而非'TRANSACTION'。
• 大语言模型在长上下文理解方面表现不足，难以处理和利用冗长的任务说明，这加剧了说明不完整的问题。
• 对FLAN-UL2在每个任务上进行微调后，性能提升达到了现有最先进结果的水平，表明当正确对齐时，大语言模型能够掌握这些任务。
• 观察到明显的正向扩展效应：更大的模型在需要详尽说明的任务上微调后性能更优，证实了该能力存在，但仅靠ICL无法被激活。

Figure 2: Error types with proportions from GPT-4. “ Unspecific Context Understanding ” means the lack of specific context understanding. “ Misaligned Schema Understanding ” represents LLMs’ understanding of task schema is not fully aligned with humans. “ Instruction Following ” represents LLMs do n