[论文解读] Rethinking Benchmark and Contamination for Language Models with Rephrased Samples

Shuo Yang, Wei-Lin Chiang+3 more|arXiv (Cornell University)|Nov 8, 2023

Topic Modeling被引用 7

一句话总结

本文引入了重述样本——语义等价但语言形式多样的测试用例——可规避标准的n-gram和基于嵌入的去污染方法。提出了一种基于大语言模型（LLM）的去污染方法，能够检测此类变体，揭示了在真实世界数据集（如RedPajama-1T和StarCoder-Data）中此前未知的污染现象，其与HumanEval的重叠率达8–18%，并呼吁建立全新、一次性使用的基准测试，以确保大语言模型评估的可靠性。

ABSTRACT

Large language models are increasingly trained on all the data ever produced by humans. Many have raised concerns about the trustworthiness of public benchmarks due to potential contamination in pre-training or fine-tuning datasets. While most data decontamination efforts apply string matching (e.g., n-gram overlap) to remove benchmark data, we show that these methods are insufficient, and simple variations of test data (e.g., paraphrasing, translation) can easily bypass these decontamination measures. Furthermore, we demonstrate that if such variation of test data is not eliminated, a 13B model can easily overfit a test benchmark and achieve drastically high performance, on par with GPT-4. We validate such observations in widely used benchmarks such as MMLU, GSK8k, and HumanEval. To address this growing risk, we propose a stronger LLM-based decontamination method and apply it to widely used pre-training and fine-tuning datasets, revealing significant previously unknown test overlap. For example, in pre-training sets such as RedPajama-Data-1T and StarCoder-Data, we identified that 8-18\% of the HumanEval benchmark overlaps. Interestingly, we also find such contamination in synthetic dataset generated by GPT-3.5/4, suggesting a potential risk of unintentional contamination. We urge the community to adopt stronger decontamination approaches when using public benchmarks. Moreover, we call for the community to actively develop fresh one-time exams to evaluate models accurately. Our decontamination tool is publicly available at https://github.com/lm-sys/llm-decontaminator.

研究动机与目标

• 揭示当前去污染方法（如n-gram重叠和嵌入相似性）在检测语义等价但语言形式多样的测试数据方面的局限性。
• 证明通过简单重述基准样本，13B参数模型可实现过拟合并达到GPT-4水平的性能，同时规避检测。
• 揭示广泛使用的预训练和合成数据集中此前未被发现的污染现象，包括由GPT-3.5/4生成的数据。
• 倡导建立全新、一次性使用的基准测试，以确保大语言模型评估的准确性和可信度。

提出的方法

• 使用大语言模型生成重述样本，对原始基准问题进行改写或翻译，保持语义不变但规避基于字符串的检测。
• 应用嵌入相似性搜索，为每个测试样本识别出top-k候选匹配项。
• 使用强效大语言模型（如GPT-4）判断top-k候选项中是否存在与测试样本语义过于接近的项，从而检测细微的污染。
• 将基于大语言模型的去污染器应用于真实世界数据集（如RedPajama-1T、StarCoder-Data和CodeAlpaca），以发现隐藏的测试重叠。
• 评估在重述基准上微调的模型性能，以证明其过拟合现象及对标准检测方法的规避能力。
• 提出采用动态、一次性考试（如CodeForces）作为长期解决方案，以应对基准污染问题。

实验结果

研究问题

• RQ1 简单的语言变化（如改写或翻译）是否能绕过大语言模型基准测试中标准的n-gram和基于嵌入的去污染方法？
• RQ2 当13B参数模型在重述的测试样本上进行微调时，其过拟合程度如何？能否在不被察觉的情况下实现与GPT-4相当的性能？
• RQ3 在广泛使用的预训练和合成数据集中，基准污染的真实程度如何，包括由GPT-3.5/4生成的数据？
• RQ4 基于大语言模型的去污染方法在检测语义相似但字符串不匹配的污染方面，相比现有技术效果如何？
• RQ5 全新、一次性基准测试能否降低污染风险，并提升大语言模型评估的可靠性？

主要发现

• 通过改写或翻译生成的重述样本可规避标准n-gram重叠和嵌入相似性方法的检测，使模型过拟合而不会触发污染警报。
• 在重述的MMLU、GSM-8k和HumanEval样本上微调的13B参数Llama-2模型，其性能可与GPT-4媲美，表明其存在显著的过拟合潜力。
• 基于大语言模型的去污染方法显著优于传统方法，通过结合嵌入搜索与大语言模型的语义判断，实现更精准的相似性检测。
• 在预训练数据集如RedPajama-Data-1T和StarCoder-Data中，通过重述变体发现8–18%的HumanEval测试用例存在污染。
• 由GPT-3.5生成的合成数据集CodeAlpaca中，包含12.8%的HumanEval重述样本，表明合成数据训练中存在无意污染的风险。
• 本研究揭示了开源和专有数据集中此前未知的污染现象，呼吁社区采用更强的去污染方法，并转向动态、一次性评估基准。