[论文解读] TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models

Xiao Wang, Yuansen Zhang+10 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用 4

一句话总结

TRACE 引入了一个全面的基准，用于评估对齐的大规模语言模型（LLMs）中的持续学习，该基准包含8个多样化、标准化的数据集，涵盖特定领域任务、多语言能力、代码生成和数学推理。研究揭示了严重的灾难性遗忘现象——例如，Llama2-13B在GSM8K上的准确率从28.8%下降至2%——并提出了推理增强型持续学习（RCL），通过使用元推理过程和任务特定提示来减少遗忘并加速收敛。

ABSTRACT

Aligned large language models (LLMs) demonstrate exceptional capabilities in task-solving, following instructions, and ensuring safety. However, the continual learning aspect of these aligned LLMs has been largely overlooked. Existing continual learning benchmarks lack sufficient challenge for leading aligned LLMs, owing to both their simplicity and the models' potential exposure during instruction tuning. In this paper, we introduce TRACE, a novel benchmark designed to evaluate continual learning in LLMs. TRACE consists of 8 distinct datasets spanning challenging tasks including domain-specific tasks, multilingual capabilities, code generation, and mathematical reasoning. All datasets are standardized into a unified format, allowing for effortless automatic evaluation of LLMs. Our experiments show that after training on TRACE, aligned LLMs exhibit significant declines in both general ability and instruction-following capabilities. For example, the accuracy of llama2-chat 13B on gsm8k dataset declined precipitously from 28.8\% to 2\% after training on our datasets. This highlights the challenge of finding a suitable tradeoff between achieving performance on specific tasks while preserving the original prowess of LLMs. Empirical findings suggest that tasks inherently equipped with reasoning paths contribute significantly to preserving certain capabilities of LLMs against potential declines. Motivated by this, we introduce the Reasoning-augmented Continual Learning (RCL) approach. RCL integrates task-specific cues with meta-rationales, effectively reducing catastrophic forgetting in LLMs while expediting convergence on novel tasks.

研究动机与目标

• 为评估对齐 LLM 中的持续学习，解决缺乏具有挑战性且现实的基准的问题。
• 研究在对多样化、复杂任务进行增量训练时，最先进 LLM 中灾难性遗忘的现象。
• 评估持续学习对 LLM 通用能力、指令遵循能力以及安全性的影响。
• 探索推理增强训练是否能缓解遗忘，同时加速新任务的学习。
• 提供一个标准化、可评估的基准，具有统一格式和新颖指标，用于持续学习评估。

提出的方法

• 设计 TRACE 基准，包含 8 个多样化、标准化的数据集，涵盖特定领域任务、多语言理解、代码生成和数学推理。
• 每个任务采样 5,000 个平衡样本，分类任务采用类别平衡划分。
• 引入三种新颖的评估指标：通用能力变化量（General Ability Delta）、指令遵循变化量（Instruction Following Delta）和安全性变化量（Safety Delta），用于量化核心 LLM 能力上的遗忘程度。
• 使用 GPT-4 作为裁判，对模型在安全性和帮助性评估中的响应进行自动化、客观的评估。
• 提出推理增强型持续学习（RCL），在训练过程中提示模型生成推理过程和任务分析。
• 应用 RCL 并结合元推理过程和任务特定提示，以在增量训练期间提升原始模型能力的保留效果。

实验结果

研究问题

• RQ1 当在多样化、复杂任务上进行增量训练时，对齐的 LLM 在多大程度上遭受灾难性遗忘？
• RQ2 持续学习在多大程度上影响 LLM 的通用推理能力、指令遵循能力以及安全性？
• RQ3 推理增强训练是否能缓解灾难性遗忘，同时提升新任务的学习收敛速度？
• RQ4 推理路径在持续学习过程中对保留模型能力方面起到何种作用？
• RQ5 全参数微调与参数高效微调（LoRA）在遗忘程度和性能方面有何对比？

主要发现

• Llama2-13B 在 TRACE 上完成持续训练后，GSM8K 任务的准确率从 28.8% 下降至 2%，表明在数学推理方面存在严重的灾难性遗忘。
• 多语言能力在持续学习过程中得到提升，Llama2-7B 在 TydiQA 上的 F1 分数从 23.47 上升至 33.23，表明该领域存在积极迁移。
• 全参数微调虽然提升了任务拟合能力，但相比 LoRA，其在通用能力上的遗忘现象显著更严重。
• 持续学习后，指令遵循能力显著下降，凸显了对齐 LLM 中的这一关键脆弱性。
• 具有明确推理路径的任务比没有推理路径的任务更能保留模型能力，表明推理整合有助于缓解遗忘。
• 所提出的 RCL 方法通过在训练期间提示模型生成推理过程和任务分析，有效减少了遗忘并加速了收敛。