[论文解读] Skill-it! A Data-Driven Skills Framework for Understanding and Training Language Models

Mayee F. Chen, Nicholas Roberts+5 more|arXiv (Cornell University)|Jul 26, 2023

Topic Modeling被引用 4

一句话总结

本文提出 Skill-it，一种数据驱动的框架，将语言模型（LM）训练建模为一系列相互依赖的技能，通过技能图形式化表达，以指导高效的数据采样。通过利用持续预训练和微调中的技能顺序，Skill-it 在 LEGO 上相比随机采样实现了 36.5 的准确率提升，在 Natural Instructions 上将验证损失降低了 13.6%，优于静态和基线采样方法。

ABSTRACT

The quality of training data impacts the performance of pre-trained large language models (LMs). Given a fixed budget of tokens, we study how to best select data that leads to good downstream model performance across tasks. We develop a new framework based on a simple hypothesis: just as humans acquire interdependent skills in a deliberate order, language models also follow a natural order when learning a set of skills from their training data. If such an order exists, it can be utilized for improved understanding of LMs and for data-efficient training. Using this intuition, our framework formalizes the notion of a skill and of an ordered set of skills in terms of the associated data. First, using both synthetic and real data, we demonstrate that these ordered skill sets exist, and that their existence enables more advanced skills to be learned with less data when we train on their prerequisite skills. Second, using our proposed framework, we introduce an online data sampling algorithm, Skill-It, over mixtures of skills for both continual pre-training and fine-tuning regimes, where the objective is to efficiently learn multiple skills in the former and an individual skill in the latter. On the LEGO synthetic in the continual pre-training setting, Skill-It obtains 36.5 points higher accuracy than random sampling. On the Natural Instructions dataset in the fine-tuning setting, Skill-It reduces the validation loss on the target skill by 13.6% versus training on data associated with the target skill itself. We apply our skills framework on the recent RedPajama dataset to continually pre-train a 3B-parameter LM, achieving higher accuracy on the LM Evaluation Harness with 1B tokens than the baseline approach of sampling uniformly over data sources with 3B tokens.

研究动机与目标

• 开发一种正式框架，将语言模型能力建模为从数据中提取的相互依赖的技能。
• 探究在训练数据中是否存在自然的技能学习顺序，并可否用于实现数据高效的训练。
• 设计一种动态、在线的数据采样算法，利用技能依赖关系加速持续预训练和微调中的学习过程。
• 验证基于技能的排序是否能提升模型性能，相比随机或静态采样策略。
• 在合成数据和真实世界数据集（包括 RedPajama 和 Natural Instructions）上展示该框架的有效性。

提出的方法

• 将技能定义为可从数据子集中学到的行为单元，并通过有向图形式化有序技能集合，其中边表示先决条件依赖关系。
• 利用数据聚类和嵌入分析构建技能图，以识别技能间的关系，并在合成和真实数据集上进行验证。
• 设计 Skill-it，一种在线数据选择算法，根据技能验证损失和图结构动态调整采样权重。
• 使用带学习率调度的乘法权重更新策略，优先处理更难的技能，同时尊重先决条件依赖关系。
• 将技能图集成到持续预训练和微调设置中，以指导数据混合选择。
• 通过消融实验，在多个基准上比较 Skill-it 与随机采样、无图设置和静态采样（T=1）的表现。

实验结果

研究问题

• RQ1 在真实和合成的语言模型训练数据中是否存在相互依赖的技能集合？能否通过基于数据的聚类和嵌入方法对其进行形式化定义？
• RQ2 在先决技能上进行训练是否能减少学习更复杂技能所需的数据量，并带来可测量的性能提升？
• RQ3 与随机采样和静态采样相比，Skill-it 的动态、图感知采样策略在收敛速度和最终性能方面表现如何？
• RQ4 技能图结构和采样权重的在线自适应在多大程度上提升了持续预训练和微调中的学习效率？
• RQ5 该框架能否推广到真实世界数据集（如 RedPajama 和 Natural Instructions），并在相同 token 预算下优于均匀采样？

主要发现

• 在 LEGO 合成持续预训练任务中，Skill-it 相比随机采样实现了 36.5 分的准确率提升，证明了技能顺序带来的显著性能增益。
• 在 Natural Instructions 数据集上，Skill-it 相比仅使用目标技能相关数据训练，将目标技能的验证损失降低了 13.6%。
• 由于其动态适应性和图感知加权机制，Skill-it 在所有评估数据集（包括 LEGO、Addition 和 Natural Instructions）上均优于静态采样（T=1）和无图基线。
• 在 Natural Instructions 的跨域评估中，Skill-it 在 12 项技能中的 7 项达到最低验证损失，平均损失最低（2.540），优于静态方法的 2.541–2.551。
• 消融实验证实，技能图和在线动态机制均不可或缺：移除任一都会导致训练 token 分配不佳，尤其是对更难技能的分配不足。
• 该框架成功使一个 3B 参数的语言模型在使用 10 亿 token 在 RedPajama 上持续预训练后，在 LM Evaluation Harness 上取得了更高准确率，优于使用 30 亿 token 的均匀采样。