[论文解读] Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

Alex Havrilla, Andrew M. Dai+18 more|arXiv (Cornell University)|Dec 4, 2024

Topic Modeling被引用 4

一句话总结

本文提出了一种质量、多样性与复杂性（QDC）框架，用于评估大语言模型（LLMs）生成的合成数据。该研究分析了QDC特性对下游模型泛化能力的影响，识别出其中的权衡关系——尤其是质量与多样性之间的权衡——并倡导采用QDC感知的合成数据生成方法，以实现人工智能系统的高效自我改进。

ABSTRACT

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.

研究动机与目标

• 为解决合成数据生成中系统性评估的缺失，本文研究了数据质量、多样性和复杂性对下游模型性能的影响。
• 识别合成数据中质量与多样性之间的权衡，特别是过度优化质量如何限制泛化能力与自我改进潜力。
• 基于其促进QDC的机制，提出合成数据生成算法的分类体系，以实现更优的比较与未来方法的设计。
• 强调复杂性在数据与模型输出中尚未被充分探索的作用，呼吁开发更优的度量方法与算法整合。
• 倡导采用QDC均衡的训练数据，以释放大语言模型在递归自我改进方面的潜力。

提出的方法

• 提出一个高层级框架，将质量定义为正确性/噪声水平，多样性定义为覆盖度/自相似性，复杂性定义为组合难度。
• 回顾并分类现有的QDC度量方法，倾向于在复杂任务中采用LLM作为裁判的方法，因其与下游性能的相关性更强。
• 基于现有文献与合成数据流水线的实证洞察，分析QDC对模型泛化能力的影响。
• 根据其对QDC的影响，对合成数据生成算法的组件（如种子提示、LLM选择、过滤机制与提示策略）进行分类。
• 研究模型输出质量与多样性与生成的合成数据QDC之间的反馈回路，揭示了限制自我改进潜力的权衡关系。
• 提出QDC感知的算法，明确平衡质量、多样性和复杂性，借鉴开放领域学习与强化学习的新兴研究成果。

Figure 1: A summary of our research questions, and key findings discussed in greater detail in the relevant sections and subsections.

实验结果

研究问题

• RQ1 如何在大语言模型生成的合成数据中定义并度量质量、多样性和复杂性？
• RQ2 训练数据中QDC的不同组合如何影响模型泛化能力，特别是在分布内与分布外设置下？
• RQ3 现有合成数据生成算法如何促进质量、多样性和复杂性？其中涉及哪些权衡？
• RQ4 QDC构成对开放领域人工智能系统中递归自我改进与强化学习有何影响？
• RQ5 在当前对质量的偏见普遍存在的情况下，未来如何设计合成数据生成流水线以最优地平衡QDC？

主要发现

• 高质量数据主要提升分布内泛化能力，而多样化数据对分布外泛化至关重要。
• 适当水平的数据复杂性有助于提升分布内与分布外的性能，尽管复杂性目前仍被低估且未得到充分优化。
• 质量与多样性之间存在根本性权衡：过度优化质量通常会降低多样性，从而限制模型自我改进的潜力。
• 目前大多数模型仅针对输出质量进行评估，这限制了合成数据的多样性，并缩小了自我改进流水线的适用范围。
• 少数现有合成数据生成方法明确平衡了全部三个QDC维度，更少的方法将其整合进递归自我改进循环中。
• LLM作为裁判的度量方法在复杂领域中与下游性能具有强相关性，但需进行领域特定调优以实现最佳效果。

Figure 2: Quality Metrics