[论文解读] TOFU: A Task of Fictitious Unlearning for LLMs

Pratyush Maini, Zhili Feng+3 more|arXiv (Cornell University)|Jan 11, 2024

Topic Modeling被引用 4

一句话总结

本文提出了 TOFU，一个用于评估大型语言模型（LLMs）遗忘能力的基准，通过使用合成作者资料来测试模型是否能有效遗忘特定数据。尽管测试了四种基线遗忘方法，结果表明现有方法无法实现有效的遗忘，凸显了当前隐私保护型 LLM 调优技术中的关键空白。

ABSTRACT

Large language models trained on massive corpora of data from the web can memorize and reproduce sensitive or private data raising both legal and ethical concerns. Unlearning, or tuning models to forget information present in their training data, provides us with a way to protect private data after training. Although several methods exist for such unlearning, it is unclear to what extent they result in models equivalent to those where the data to be forgotten was never learned in the first place. To address this challenge, we present TOFU, a Task of Fictitious Unlearning, as a benchmark aimed at helping deepen our understanding of unlearning. We offer a dataset of 200 diverse synthetic author profiles, each consisting of 20 question-answer pairs, and a subset of these profiles called the forget set that serves as the target for unlearning. We compile a suite of metrics that work together to provide a holistic picture of unlearning efficacy. Finally, we provide a set of baseline results from existing unlearning algorithms. Importantly, none of the baselines we consider show effective unlearning motivating continued efforts to develop approaches for unlearning that effectively tune models so that they truly behave as if they were never trained on the forget data at all.

研究动机与目标

• 为解决 LLM 中遗忘评估缺乏标准化的问题，特别是针对生成式模型。
• 创建一个定义明确、可复现的基准，以隔离特定数据遗忘的影响。
• 开发一个综合评估框架，结合遗忘质量与模型效用指标。
• 在现实计算约束下评估现有遗忘算法的有效性。
• 通过展示当前方法无法实现有意义的遗忘，激发未来研究。

提出的方法

• 构建包含 200 个虚构作者资料的数据集，每个资料包含 20 个问答对，用作微调 LLM 的训练数据。
• 定义一个‘遗忘集’，包含 2、10 或 20 个资料，以测试在不同严重程度下的遗忘效果。
• 设计一个基于正确答案与错误答案概率比值的遗忘质量指标。
• 应用柯尔莫哥洛夫-斯米尔诺夫（KS）检验，比较遗忘后模型与标准保留模型在答案概率分布上的差异。
• 通过多个具有不同相关性梯度的评估数据集，聚合模型效用，以衡量性能保留程度。
• 将遗忘算法的计算资源限制在 O(遗忘样本数量) 以内，以反映现实可行性。

实验结果

研究问题

• RQ1 现有遗忘方法能否有效从微调后的 LLM 中擦除关于特定实体的信息？
• RQ2 遗忘方法在非遗忘数据上多大程度上保持了模型效用？
• RQ3 当前的遗忘指标在多大程度上与近似遗忘保证相关？
• RQ4 像 TOFU 这样的统一基准能否揭示当前遗忘方法中的系统性缺陷？
• RQ5 是否可能在不降低整体模型性能的前提下实现有效的遗忘？

主要发现

• 测试的四种基线遗忘方法在遗忘质量与模型效用指标上均未实现有效遗忘。
• 许多模型表现出较高的遗忘质量（KS 检验 p 值较低），但模型效用较差，表明其输出为胡言乱语或随机内容。
• 结果表明，即使在纸面上看似已遗忘，现有遗忘方法仍无法实现 (ε,δ)-遗忘。
• 该基准揭示了遗忘本质上具有挑战性，原因在于学习与遗忘过程之间存在纠缠。
• 现有的对齐技术（如 RLHF 或 DPO）可能无法完全消除不良行为或记忆的事实，表明模型控制中存在更深层的问题。
• 本研究表明，当前的遗忘方法只是对隐私保护的薄弱尝试，仍有巨大改进空间。