[论文解读] Self-Adaptive In-Context Learning: An Information Compression Perspective for In-Context Example Selection and Ordering

Zhiyong Wu, Yaoxiang Wang+2 more|arXiv (Cornell University)|Dec 20, 2022

Text and Document Classification Technologies被引用 14

一句话总结

本文提出自适应上下文学习（self-adaptive in-context learning），这是一种新颖的框架，通过最小描述长度（MDL）原理，从信息压缩的角度在实例级别选择并排序上下文示例。该方法在八个NLP数据集上显著优于强基线模型，相比标准ICL实现40%的相对性能提升，展现出更强的鲁棒性，并使性能接近微调效果。

ABSTRACT

Despite the surprising few-shot performance of in-context learning (ICL), it is still a common practice to randomly sample examples to serve as context. This paper advocates a new principle for ICL: self-adaptive in-context learning. The self-adaption mechanism is introduced to help each sample find an in-context example permutation (i.e., selection and ordering) that can derive the correct prediction, thus maximizing performance. To validate the effectiveness of self-adaptive ICL, we propose a general select-then-rank framework and instantiate it with new selection and ranking algorithms. Upon extensive evaluation on eight different NLP datasets, our self-adaptive ICL method achieves a 40% relative improvement over the common practice setting. Further analysis reveals the enormous potential of self-adaptive ICL that it might be able to close the gap between ICL and finetuning given more advanced algorithms. Our code is released to facilitate future research in this area: https://github.com/Shark-NLP/self-adaptive-ICL

研究动机与目标

• 为解决标准上下文学习（ICL）因依赖随机或固定示例组织方式而产生的不稳定性和次优性能问题。
• 提出一种新范式——自适应ICL，即针对每个输入实例动态选择并排序上下文示例，以最大化性能。
• 克服基于语料的提示优化方法的局限性，后者严重依赖大规模验证集，且易受多数类偏差影响。
• 设计一种通用的两阶段框架（先选择后排序），实现在无需验证集的情况下进行实例级别优化。
• 证明自适应ICL能够显著缩小ICL与微调之间的性能差距。

提出的方法

• 提出一种通用的两阶段选择-排序框架：首先通过启发式方法（如最近邻）筛选候选示例；其次通过排序算法确定最优的示例组织方式。
• 以最小描述长度（MDL）原理作为排序的理论基础，即最优的示例组织方式应使输入、示例和预测的总描述长度最小化。
• 使用语义相似度（如句子嵌入）进行初始示例选择，以缩小搜索空间后再进行排序。
• 应用基于MDL的评分机制，评估并排序所选示例的不同排列组合，优先选择信息压缩效果最佳的排列。
• 引入基于搜索的优化策略，以应对示例排序的NP难组合问题，在效率与效果之间实现权衡。
• 使用一个上下文示例检索集，并在无需验证集用于适应的情况下，评估其在多样化NLP任务上的性能。

实验结果

研究问题

• RQ1 与随机或固定组织方式相比，实例级别的示例选择与排序是否能显著提升上下文学习性能？
• RQ2 在不同模型和数据集上，自适应ICL与基于语料的提示优化方法相比，在鲁棒性和泛化能力方面表现如何？
• RQ3 自适应ICL在多大程度上能够缩小上下文学习与微调之间的性能差距？
• RQ4 基于MDL的排序机制是否提供了一种有原则且有效的方式，以识别高性能的示例组织方式？
• RQ5 该方法对检索集的质量和大小敏感吗？其性能是否能在多样化提示模板下保持泛化能力？

主要发现

• 自适应ICL在八个多样化的NLP数据集上相比标准ICL实现了40%的相对性能提升，显著优于强基线模型。
• 该方法在不同模型规模（从350M到175B参数）下均表现出一致且显著的性能增益，且在复杂任务上，随着模型规模增大，性能稳步提升。
• 该方法在不同预训练语言模型（如OPT、LLaMA等）上均表现稳健，并在多种提示模板下保持有效性，显示出强大的泛化能力。
• 在标签空间较大或无限的任务（如问答、多选题）上，性能增益最为显著，而传统TopK选择方法在此类任务中失效。
• 该方法揭示了示例组织的重要性：仅增加示例数量而不进行合理排序，将导致收益递减，凸显了结构化优化的关键作用。
• 尽管性能表现优异，但当检索集较小时，该方法的增益会减弱，表明其对高质量候选示例存在依赖性，以获得最佳结果。