[论文解读] What Makes Good Data for Alignment? A Comprehensive Study of Automatic Data Selection in Instruction Tuning

Wei Liu, Weihao Zeng+3 more|arXiv (Cornell University)|Dec 25, 2023

Topic Modeling被引用 14

一句话总结

本论文分析指令微调的数据质量，并提出 Deita，一种利用复杂性、质量、多样性来实现与成千上万数据点强对齐的数据高效数据选择方法。

ABSTRACT

Instruction tuning is a standard technique employed to align large language models to end tasks and user preferences after the initial pretraining phase. Recent research indicates the critical role of data engineering in instruction tuning -- when appropriately selected, only limited data is necessary to achieve superior performance. However, we still lack a principled understanding of what makes good instruction tuning data for alignment, and how we should select data automatically and effectively. In this work, we delve deeply into automatic data selection strategies for alignment. We start with controlled studies to measure data across three dimensions: complexity, quality, and diversity, along which we examine existing methods and introduce novel techniques for enhanced data measurement. Subsequently, we propose a simple strategy to select data samples based on the measurement. We present deita (short for Data-Efficient Instruction Tuning for Alignment), a series of models fine-tuned from LLaMA and Mistral models using data samples automatically selected with our proposed approach. Empirically, deita performs better or on par with the state-of-the-art open-source alignment models with only 6K SFT training data samples -- over 10x less than the data used in the baselines. When further trained with direct preference optimization (DPO), deita-Mistral-7B + DPO trained with 6K SFT and 10K DPO samples achieve 7.55 MT-Bench and 90.06% AlpacaEval scores. We anticipate this work to provide tools on automatic data selection, facilitating data-efficient alignment. We release our models as well as the selected datasets for future researches to effectively align models more efficiently.

研究动机与目标

• 将用于指令微调的“好数据”在三个维度：复杂性、质量与多样性，定义清晰。
• 为每个维度开发自动测量技术，并评估它们与对齐性能的相关性。
• 提出一个简单、实用的数据选择策略，将这些测量结果结合起来，以最大化数据效率。
• 在 LLaMA-1/2 与 Mistral 的骨干模型上，展示 Deita 相对于开源对齐模型的有效性。
• 发布数据和模型检查点，以促进数据高效对齐的未来研究。

提出的方法

• 引入三个数据诊断维度：复杂性、质量和多样性，及为每个维度设计评估指标。
• 使用 Evol Complexity 与 Evol Quality，通过进化基过程自动生成并对数据变体打分。
• 训练轻量级评分器，从指令中预测复杂性/质量分数；将分数组合成 evol 分数。
• 采用“先打分、兼顾多样性”的选择策略，从大数据池中挑选出一个小而高质量且多样的子集。
• 使用选定数据对 LLaMA-1-13B、LLaMA-2-13B 与 Mistral-7B 进行微调，得到 Deita 模型；可选应用直接偏好优化（DPO）。
• 在 MT-Bench、AlpacaEval 与 Open LLM Leaderboard 上，将 Deita 与基线数据选择方法及开源 SFT 模型进行对比。

实验结果

研究问题

• RQ1 哪些数据属性（复杂性、质量、多样性）与指令遵循对齐性能的相关性最强？
• RQ2 自动、可扩展的复杂性与质量指标能否替代昂贵的人类或GPT基础标注用于数据选择？
• RQ3 先打分、兼顾多样性的数据选择策略是否能在不同基础模型和数据池中实现数据高效对齐？
• RQ4 当仅用较小数据预算（6K–10K）训练时，Deita 模型与最先进的开源对齐模型相比如何？
• RQ5 将 DPO 应用于 Deita 选择数据之上有什么影响？

主要发现

• Evol Complexity 在所有数据池中始终提供优越的 MT-Bench 性能，超过 Random 和 Instag Diversity 等基线。
• Evol Quality 始终改善 MT-Bench 性能，特别是在低质量的 Lew-rich 池上，并在质量方差较高时显示显著增益。
• 嵌入式多样性（Repr Filter）优于 Instag Diversity，凸显多样化表示的重要性。
• 使用 6K–10K 数据训练的 Deita 模型在 MT-Bench 和 AlpacaEval 上达到与更大规模 SFT 基线相当或更优的分数；Deita-Mistral-7B 10K + DPO 达到 7.55 MT-Bench 和 90.06% AlpacaEval。
• 在 Open LLM Leaderboard 上，Deita 变体持续超越许多 SFT 模型，且 DPO 进一步提升性能。
• 使用 Deita 的训练可以接近使用大规模数据时的水平，展示在数据量减少至 100 倍的可行性下实现有竞争力的对齐。