[论文解读] Public code for Model Collapse

Ilia Shumailov, Zakhar Shumaylov|arXiv (Cornell University)|May 27, 2023

Topic Modeling被引用 152

一句话总结

本论文表明，在模型生成数据上进行训练会导致退化性的“模型崩溃”，即真实数据分布被忘记、尾部消失，学习的模型趋向于简单的表示，且在 GMMs、VAEs 和 LLMs 中均存在这一现象。

ABSTRACT

Stable Diffusion revolutionised image creation from descriptive text. GPT-2, GPT-3(.5) and GPT-4 demonstrated astonishing performance across a variety of language tasks. ChatGPT introduced such language models to the general public. It is now clear that large language models (LLMs) are here to stay, and will bring about drastic change in the whole ecosystem of online text and images. In this paper we consider what the future might hold. What will happen to GPT-{n} once LLMs contribute much of the language found online? We find that use of model-generated content in training causes irreversible defects in the resulting models, where tails of the original content distribution disappear. We refer to this effect as Model Collapse and show that it can occur in Variational Autoencoders, Gaussian Mixture Models and LLMs. We build theoretical intuition behind the phenomenon and portray its ubiquity amongst all learned generative models. We demonstrate that it has to be taken seriously if we are to sustain the benefits of training from large-scale data scraped from the web. Indeed, the value of data collected about genuine human interactions with systems will be increasingly valuable in the presence of content generated by LLMs in data crawled from the Internet.

研究动机与目标

• 动机：研究当数据被反复从网络爬取时，生成模型数据如何污染后续模型。
• 刻画不同模型族（GMMs、VAEs、LLMs）中的模型崩溃现象。
• 量化有限采样和函数近似误差如何驱动与原始数据分布的偏离。
• 论证获得真实的人类生成内容以缓解崩溃的重要性。

提出的方法

• 引入将模型崩溃视为一个退化的代际学习过程的概念，其中每个模型都在前一个模型产生的数据上进行训练。
• 使用 Wasserstein 距离 (W2) 来量化原始分布与第 i 代生成分布之间的散度。
• 给出简单的 toy 模型（离散分布和单维高斯）来解析地界定风险并说明尾部如何在代际中侵蚀。
• 推导出统计近似误差和函数近似误差均会促成级联效应，且需要超线性的数据收集以将距离维持在有限范围内。
• 将分析扩展到 GMMs 与 VAEs，显示尾部被冲刷干净，模态在代际间纠缠。
• 讨论对 LLMs 的微调，并指出从头开始训练与微调时崩溃的早期迹象。

实验结果

研究问题

• RQ1 在前一代模型生成的数据上进行训练是否会导致原始数据分布在代际上逐步侵蚀？
• RQ2 是否能在多种生成模型家族（GMMs、VAEs、LLMs）中观察到模型崩溃？
• RQ3 推动崩溃的主要机制（统计近似误差与函数近似误差）是什么，以及如何量化？
• RQ4 获得真实的人类生成数据在缓解模型崩溃中扮演什么角色，尤其是对于 LLMs？

主要发现

• 模型崩溃是一种普遍的退化过程，其中生成的数据污染后续的训练集，导致模型对现实的感知产生偏差。
• 原始分布的尾部在早期就消失，随着代际的推移，学习到的分布变得更像δ-函 数、方差减小。
• 在简单的高斯和离散分布 toy 模型中，有限采样会引起类似随机漫步的漂移，除非采样量呈超线性增长，否则会增加与真实分布的距离。
• 在 GMMs 与 VAEs 的实验中，随着代际数据的增加，潜在表示变得单峰并逐渐与原始模态发散。
• 用生成数据训练或微调的 LLMs 显示出崩溃的早期迹象，凸显在没有人类生成内容的情况下大规模网络数据复用的风险。
• 基于 Wasserstein 距离的理论界限表明，在有限采样下，随着代际的增加，与真实分布的偏差期望值会增大，这在没有大量数据再生的情况下强化了崩溃的必然性。