[论文解读] Speak, Memory: An Archaeology of Books Known to ChatGPT/GPT-4

Kent K. Chang, Mackenzie Hạnh Cramer+2 more|arXiv (Cornell University)|Apr 28, 2023

Topic Modeling被引用 17

一句话总结

本论文使用姓名克空（name cloze）成员推断来检测 ChatGPT 与 GPT-4 记忆的书籍，显示记忆程度与网络频度相关，并影响下游任务的偏差；并主张开放且训练数据可知的模型，以确保文化分析中的有效性。

ABSTRACT

In this work, we carry out a data archaeology to infer books that are known to ChatGPT and GPT-4 using a name cloze membership inference query. We find that OpenAI models have memorized a wide collection of copyrighted materials, and that the degree of memorization is tied to the frequency with which passages of those books appear on the web. The ability of these models to memorize an unknown set of books complicates assessments of measurement validity for cultural analytics by contaminating test data; we show that models perform much better on memorized books than on non-memorized books for downstream tasks. We argue that this supports a case for open models whose training data is known.

研究动机与目标

• 激发研究：大型语言模型记忆了哪些书籍，以及记忆为何对文化分析重要。
• 开发数据集与任务（姓名克空）以从 GPT-4 和 ChatGPT 输出推断记忆书籍。
• 量化记忆与网络普及度的相关性，以及对下游任务的影响。
• 倡导开放训练数据，以提升模型辅助文学分析的有效性和可复现性。

提出的方法

• 构建一个困难的姓名克空任务：在40–60个标记的段落中预测一个单一标记的专有名词，不包含其他命名实体。
• 组建来自五个来源的571部小说作品的评估数据（LitBank、普利策提名、畅销书、黑人作者、全球英语区、体裁）。
• 使用 BookNLP 提取每本书100个段落，并应用固定提示以XML格式引出一个姓名。
• 将提示输入 ChatGPT（gpt-3.5-turbo）与 GPT-4，记录每本书的姓名克空准确度。
• 与 BERT 进行基线比较，并通过错误分析及与网络普及度（Google/Bing/C4/Pile）的相关性来分析记忆。
• 通过预测首出版年份和段落中的叙事时间，比较记忆度最高与最低的书，评估下游影响。

实验结果

研究问题

• RQ1 哪些书籍被 OpenAI 模型（GPT-4 与 ChatGPT）记忆，按姓名克空任务衡量？
• RQ2 记忆在书籍类别及网络人气上的差异表现为何？
• RQ3 书籍记忆是否会影响下游文学分析任务，如著作年代推断或叙事时间估算？
• RQ4 数据污染、评估有效性及开放训练数据的意义是什么？

主要发现

• GPT-4 和 ChatGPT 记忆了大量在版权保护内的书籍，对科幻/奇幻及畅销书的记忆更强。
• 记忆与书籍在网络上（Google、Bing、C4、Pile）的出现相关，尤其是1928年前的公有领域文本。
• BERT 显示除《格雷的五十道阴影》外近零记忆，表明训练数据对不同模型和语料的影响不同。
• 记忆使记忆书籍在下游任务（如预测首版年份和叙事时间）上表现更好，表明测试数据污染风险。
• 记忆差异意味着文化分析结果存在偏差，强调需要开放且训练数据可知的模型。