[论文解读] On the Diversity of Synthetic Data and its Impact on Training Large Language Models

Hao Chen, Abdul Waheed+5 more|arXiv (Cornell University)|Oct 19, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了 LLM Cluster-agent，一种新颖的框架，利用大语言模型通过聚类语义特征来衡量合成数据的多样性，表明在预训练阶段提高合成数据的多样性可显著提升大语言模型的预训练与微调性能，且对微调性能的影响比对预训练本身的影响更为显著。

ABSTRACT

The rise of Large Language Models (LLMs) has accentuated the need for diverse, high-quality pre-training data. Synthetic data emerges as a viable solution to the challenges of data scarcity and inaccessibility. While previous literature has focused predominantly on the quality and quantity of real data, our work enables the measurement of diversity in synthetic data and explores its impact on LLM performance. We study the downstream effects of synthetic data diversity during both the pre-training and fine-tuning stages by introducing a new diversity metric, extit{LLM cluster-agent}, designed to evaluate the diversity of synthetic datasets. Through a series of controlled experiments with models of 350M and 1.4B parameters, we demonstrate that the proposed cluster-based LLM scoring of diversity correlates positively with both pre-training and supervised fine-tuning performance. Our findings also reveal that synthetic data diversity in pre-training affects supervised fine-tuning more significantly than pre-training itself, even for smaller models. We hope this study advances our understanding of the optimal use of synthetic data in LLM training and opens new avenues for efficient data generation processes.

研究动机与目标

• 为解决缺乏可靠指标来衡量用于大语言模型预训练的合成文本数据多样性这一问题。
• 探究合成数据多样性对大语言模型在预训练和微调阶段性能的影响。
• 开发一种可扩展的大语言模型驱动方法，用于衡量多样性，其在大规模合成数据集上的表现优于传统指标。
• 确定合成数据多样性是否比数据量在决定大语言模型性能方面更具关键作用。

提出的方法

• 提出 LLM Cluster-agent，一种流水线方法，利用大语言模型对从合成数据集中随机采样的文本进行语义特征总结与聚类。
• 设计提示词，引导大语言模型识别数据点的关键特征，并基于这些特征执行聚类，同时引入自我验证机制以提升可靠性。
• 从聚类结果中计算 LLM 聚类得分，作为数据集多样性的定量度量。
• 在传统指标失效的大规模大语言模型和大规模合成数据集上，验证该度量的一致性与可扩展性。
• 通过 620,000 个维基百科主题进行受控实验，生成具有不同多样性水平的合成数据，并训练 3.5 亿参数和 14 亿参数的模型。
• 在预训练和监督微调后，通过标准基准评估模型性能，以关联多样性得分与下游结果。

Figure 1: Linear regression of LLM cluster score and benchmark performance of (a) pre-trained 350M; (b) pre-trained 1.4B; (c) supervised fine-tuned 350M; and (d) supervised fine-tuned 1.4B models. Each scatter represents a synthetic dataset with size corresponding to the number of tokens.

实验结果

研究问题

• RQ1 合成预训练数据的多样性在多大程度上影响大语言模型在预训练和微调阶段的性能？
• RQ2 基于大语言模型的方法是否能够在传统指标失效的大规模场景下，可靠地衡量合成文本数据的多样性？
• RQ3 合成数据多样性对微调性能的影响是否强于对预训练性能的影响？
• RQ4 在多大程度上，合成数据多样性优于数据量，成为决定大语言模型性能的关键因素？

主要发现

• LLM Cluster-agent 的多样性度量与 3.5 亿参数和 14 亿参数模型的预训练及微调性能均呈正相关。
• 即使在小模型中，合成数据多样性对监督微调性能的影响也强于对预训练性能的影响。
• 所提出的基于大语言模型的多样性度量方法在大规模合成数据上具有一致性、可扩展性与有效性，优于产生不一致结果的传统指标。
• 本研究揭示，多样性是合成数据的关键质量因素，高多样性带来的性能增益超过单纯增加数据量带来的增益。
• 通过 620,000 个维基百科主题的受控实验表明，基于多样化合成数据预训练的模型在微调阶段泛化能力更强，证实了该度量的预测能力。

Figure 2: Pipeline, prompt, and example outputs of the proposed LLM Cluster-agent. LLM Cluster-agent first generates metadata and metrics with attributes and scores that captures the underlying distribution and then uses these criteria to perform clustering with an extra self-verification step.