[论文解读] The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning

Seungone Kim, Se June Joo+5 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用 4

一句话总结

本文提出了 CoT Collection，一个大规模的指令微调数据集，包含跨 1,060 项任务的 184 万个思维链（CoT）推理过程，旨在提升小型语言模型在零样本和少样本推理中的表现。在该数据集上微调 Flan-T5（3B 和 11B）模型后，其在 BIG-Bench-Hard 上的平均准确率分别提升了 +4.34% 和 +2.60%，在少样本设置下甚至超越了 GPT-3.5 和 Claude 模型，领先幅度达 13.98%。

ABSTRACT

Language models (LMs) with less than 100B parameters are known to perform poorly on chain-of-thought (CoT) reasoning in contrast to large LMs when solving unseen tasks. In this work, we aim to equip smaller LMs with the step-by-step reasoning capability by instruction tuning with CoT rationales. In order to achieve this goal, we first introduce a new instruction-tuning dataset called the CoT Collection, which augments the existing Flan Collection (including only 9 CoT tasks) with additional 1.84 million rationales across 1,060 tasks. We show that CoT fine-tuning Flan-T5 (3B & 11B) with CoT Collection enables smaller LMs to have better CoT capabilities on unseen tasks. On the BIG-Bench-Hard (BBH) benchmark, we report an average improvement of +4.34% (Flan-T5 3B) and +2.60% (Flan-T5 11B), in terms of zero-shot task accuracy. Furthermore, we show that instruction tuning with CoT Collection allows LMs to possess stronger few-shot learning capabilities on 4 domain-specific tasks, resulting in an improvement of +2.24% (Flan-T5 3B) and +2.37% (Flan-T5 11B), even outperforming ChatGPT utilizing demonstrations until the max length by a +13.98% margin. Our code, the CoT Collection data, and model checkpoints are publicly available.

研究动机与目标

• 为解决参数量小于 1000 亿的小型语言模型在未见任务上的零样本和少样本推理性能不佳的问题。
• 克服现有 CoT 指令微调数据集规模小、类别不平衡的问题，从而提升小型模型的泛化能力。
• 构建一个全面且可扩展的指令微调数据集，使小型语言模型能够跨多样化、未见任务泛化思维链推理能力。
• 证明使用大规模、多样化数据集进行 CoT 微调，可显著提升下游基准测试中的零样本和少样本推理性能。

提出的方法

• 通过在 Flan Collection 的基础上增加 184 万个跨 1,060 项任务的 CoT 推理过程，构建 CoT Collection，将原始的 9 个 CoT 任务显著扩展。
• 利用该数据集对 Flan-T5 模型（3B 和 11B）进行微调，生成新模型 CoT-T5，专为逐步推理优化。
• 采用包含 CoT 示范的指令微调方法，使模型在推理过程中能够生成中间推理步骤，再输出最终预测。
• 消融研究通过使用 163 项任务的子集（T0 设置）和多语言数据（5 种语言共 8 万个实例），评估低资源和跨语言泛化能力。
• 在零样本（BIG-Bench-Hard）和少样本（特定领域法律/医学任务）基准上进行评估，采用 CoT 提示方式。
• 通过在翻译后的 CoT 数据上微调 mT0（3B），实现多语言适应，并在五种语言的 MGSM 上测量性能。

Figure 1: An illustration of the overall task group and dataset source of where we obtained the instances to augment the rationales in CoT Collection . Compared to the 9 datasets that provide publicly available rationales (included within ‘Flan-T5 ExQA’, ‘Flan-T5 Arithmetic’, ‘Flan-T5 MCQA’, ‘Flan-T

实验结果

研究问题

• RQ1 大规模、多样化的 CoT 指令微调数据集是否能显著提升小型语言模型的零样本推理性能？
• RQ2 在广泛任务范围内进行 CoT 微调，是否比仅在少量 CoT 任务上微调具有更好的泛化能力？
• RQ3 CoT 微调能否增强在特定领域任务上的少样本学习能力，甚至超越使用示范的大型模型？
• RQ4 多语言 CoT 微调在低资源语言中，能在多大程度上提升零样本推理能力？
• RQ5 在少样本设置下，CoT 微调与使用 GPT-3.5 和 Claude 等大型模型的上下文学习相比，表现如何？

主要发现

• CoT-T5（3B）在 27 个 BIG-Bench-Hard 数据集上，采用零样本 CoT 提示时，平均准确率相比 Flan-T5（3B）提升了 +4.34%。
• CoT-T5（11B）在相同基准上，相比 Flan-T5（11B）将零样本准确率提升了 +2.60%。
• 在四项特定领域少样本任务（LEDGAR、Case Hold、MedNLI、PubMedQA）中，CoT-T5（3B）和（11B）分别比 Flan-T5 提升了 +2.24% 和 +2.37%。
• 在少样本学习中，CoT-T5（3B）相比 GPT-3.5 和 Claude 的准确率分别高出 +13.98% 和 +8.11%，即使后者使用了最大输入长度的示范。
• 在 CoT Collection 中选取 163 个 CoT 任务子集对 T0（3B）进行微调，在 11 个 P3 评估基准上平均准确率提升了 +8.65%。
• 对 mT0（3B）在 8 万个翻译后的实例上进行多语言 CoT 微调，使其在法语、日语、韩语、俄语和中文上的 MGSM 性能提升了 2 倍至 10 倍。

Figure 2: MCQA Prompt used to augment rationales from P3 dataset. Through ICL, the large LM generates a rationale that is conditioned on the ground-truth label.