[论文解读] On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey

Lin Long, Rui Wang+5 more|arXiv (Cornell University)|Jun 14, 2024

Scientific Computing and Data Management被引用 4

一句话总结

本综述提出了一种统一的框架，用于大语言模型（LLM）驱动的合成数据生成、筛选与评估，将现有方法整合为一个连贯的工作流程。它指出了数据质量、多样性及评估严谨性方面的关键空白，并倡导采用系统化、结构化的方法，以推动数据中心人工智能在科研与工业应用中的发展。

ABSTRACT

Within the evolving landscape of deep learning, the dilemma of data quantity and quality has been a long-standing problem. The recent advent of Large Language Models (LLMs) offers a data-centric solution to alleviate the limitations of real-world data with synthetic data generation. However, current investigations into this field lack a unified framework and mostly stay on the surface. Therefore, this paper provides an organization of relevant studies based on a generic workflow of synthetic data generation. By doing so, we highlight the gaps within existing research and outline prospective avenues for future study. This work aims to shepherd the academic and industrial communities towards deeper, more methodical inquiries into the capabilities and applications of LLMs-driven synthetic data generation.

研究动机与目标

• 为解决当前大语言模型驱动的合成数据研究中缺乏统一框架的问题，该问题目前仍零散且浅显。
• 通过将研究组织为生成、筛选与评估的连贯工作流程，系统化现有研究格局。
• 突出强调数据质量、多样性及评估实践方面的关键缺陷，这些缺陷阻碍了稳健模型的训练与部署。
• 引导学术界与工业界社区更系统、更高效地使用合成数据于自然语言处理（NLP）及其他领域。
• 推动将合成数据作为深度学习中可扩展、可控制且高质量的人工标注数据替代方案。

提出的方法

• 提出一种通用的三阶段工作流程：合成数据生成、筛选与评估，作为现有研究的统一结构。
• 基于其在提示工程、 few-shot 提示、思维链提示及自我一致性技术方面的方法，对现有方法进行分类与分析。
• 提出一种数据筛选策略分类法，包括过滤、蒸馏与主动学习，以提升数据质量并减少偏差。
• 回顾评估协议，以评估流畅性与任务特定性能，包括在基准数据集上的零样本与 few-shot 泛化能力。
• 强调指令遵循能力在实现针对下游任务的可控数据生成中的作用。
• 分析大语言模型不仅作为生成器，也作为评估者与筛选者的作用，从而实现人类干预最少的端到端合成数据流水线。

实验结果

研究问题

• RQ1 系统性大语言模型驱动的合成数据流水线的核心组件与阶段是什么？如何将它们统一为一个连贯的框架？
• RQ2 现有方法如何确保在不同自然语言处理任务与领域中，合成数据具备高正确性与充分多样性？
• RQ3 当前合成数据评估实践的关键局限性是什么？如何改进以更真实地反映模型在现实世界中的表现？
• RQ4 大语言模型在生成之外，还能以何种方式用于合成数据集的筛选与评估？
• RQ5 在数据为中心的人工智能中，合成数据最具前景的应用与未来研究方向是什么，特别是在低资源或高偏差场景下？

主要发现

• 超过300个数据集已在 Hugging Face 上被标记为 'synthetic'，表明其在主流大语言模型训练流水线中的广泛采用与集成。
• 由大语言模型生成的数据集如 Alpaca、Vicuna、OpenHermes 2.5 与 OpenChat 3.5 已成为微调与预训练的基础，证明了其在现实世界中的可行性。
• 尽管已有进展，但许多方法仍依赖于可访问的大语言模型，对黑箱模型的应用探索有限，凸显了关键的研究空白。
• 当与筛选技术（如过滤与蒸馏）结合时，合成数据生成最为有效，这些技术显著提升了数据质量并减少了偏差。
• 评估基准如 ToolBench、TruthfulQA 与 MATH 表明，经过合成数据微调的模型可实现强劲性能，尤其在精心管理数据质量与多样性时。
• 本研究识别出对标准化评估协议的迫切需求，以及更优地对齐合成数据特性与下游任务需求，以确保模型的鲁棒性与公平性。