[论文解读] Proving Test Set Contamination in Black Box Language Models

Yonatan Oren, Nicole Meister+3 more|arXiv (Cornell University)|Oct 26, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种统计检验方法，可在无需访问训练数据或模型权重的情况下，可证明地检测黑箱语言模型中的测试集污染。通过利用数据集的可交换性，该方法比较标准顺序与打乱顺序的示例的对数概率，即使在小数据集（1,000个样本）和低重复次数（仅2次）的情况下，也能表现出高度敏感性，并实现强健的假阳性率控制。

ABSTRACT

Large language models are trained on vast amounts of internet data, prompting concerns and speculation that they have memorized public benchmarks. Going from speculation to proof of contamination is challenging, as the pretraining data used by proprietary models are often not publicly accessible. We show that it is possible to provide provable guarantees of test set contamination in language models without access to pretraining data or model weights. Our approach leverages the fact that when there is no data contamination, all orderings of an exchangeable benchmark should be equally likely. In contrast, the tendency for language models to memorize example order means that a contaminated language model will find certain canonical orderings to be much more likely than others. Our test flags potential contamination whenever the likelihood of a canonically ordered benchmark dataset is significantly higher than the likelihood after shuffling the examples. We demonstrate that our procedure is sensitive enough to reliably prove test set contamination in challenging situations, including models as small as 1.4 billion parameters, on small test sets of only 1000 examples, and datasets that appear only a few times in the pretraining corpus. Using our test, we audit five popular publicly accessible language models for test set contamination and find little evidence for pervasive contamination.

研究动机与目标

• 提供一种可证明的、第三方可执行的测试集污染检测方法，适用于专有语言模型，且无需访问训练数据或模型权重。
• 解决现有启发式成员推理方法在污染检测中缺乏严格统计保证的问题。
• 开发一种计算高效且强大的检测方法，即使基准数据集在预训练中仅出现少数次（如1–10次）也能有效工作。
• 通过提供一种可独立于模型提供商实施的方法，实现对广泛部署语言模型的可审计性。

提出的方法

• 利用基准数据集的可交换性特性：在无污染情况下，数据集的所有排序应具有相等的可能性。
• 比较语言模型在标准数据集排序（来自公开存储库）与同一数据集随机打乱版本上的对数概率。
• 使用统计假设检验，将对数概率的显著差异标记为污染的证据。
• 实施分片测试，将数据集划分为较小的片段，以支持并行计算，并提升小p值下的统计功效。
• 基于可交换性构建精确的零分布，从而实现可证明的假阳性率控制。
• 聚合各分片的检验统计量，以提高敏感性，即使在低重复次数（如2–10次）下也能检测到污染。

Figure 1: Given a pre-training dataset contaminated with the BoolQ (Clark et al., 2019 ) test set (left), we detect such contamination by testing for exchangability of the dataset (right). If a model has seen a benchmark dataset, it will have a preference for the canonical order (i.e. the order that

实验结果

研究问题

• RQ1 我们能否在不访问预训练数据或模型权重的情况下，检测黑箱语言模型中的测试集污染？
• RQ2 基准数据集的可交换性是否能为检测特定示例排序的记忆化提供可靠的统计基础？
• RQ3 当基准数据集在预训练语料库中仅出现少数次（如2–10次）时，该方法是否仍能检测到污染？
• RQ4 与单体测试相比，分片测试方法在统计功效和计算效率方面有何改进？
• RQ5 该方法在实际中多大程度上可应用于现实世界中公开可用的语言模型，以检测污染？

主要发现

• 所提出的方法成功检测到在维基百科和人工筛选数据集上训练的14亿参数语言模型中的测试集污染，即使测试集在预训练数据中仅出现两次。
• 对于重复次数达到10次或以上的数据集，该方法获得趋近于零的p值，表明存在强有力的统计证据支持污染。
• 该测试对仅1,000个样本的小型测试集也足够敏感，证明在低重复率场景下具有高统计功效。
• 在四款公开可用语言模型上的应用表明，几乎没有发现普遍存在或强烈的测试集污染证据。
• 分片测试方法显著提升了统计功效，并实现了高效、可并行计算，使该方法在实际部署中具备可扩展性和实用性。

Figure 2: For a model pre-trained with canary datasets injected at a duplication count of 1, 2, 4, and 7, we plot the log p-value against dataset duplication count to quantify how the test’s power depends on dataset duplication count.