[论文解读] Rethinking Machine Unlearning for Large Language Models

Sijia Liu, Yuanshun Yao+12 more|arXiv (Cornell University)|Feb 13, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文重新思考了大语言模型（LLMs）的机器遗忘问题，提出了一套全面的框架，旨在消除有害数据影响（如敏感、非法或幻觉内容）的同时，保留核心知识与性能。该研究引入了一种精细化的遗忘范式，强调精确的作用范围定义、数据-模型交互以及对抗性评估，将LLM遗忘定位为构建可信、安全且高效AI系统的关键，而无需完全重新训练。

ABSTRACT

We explore machine unlearning (MU) in the domain of large language models (LLMs), referred to as LLM unlearning. This initiative aims to eliminate undesirable data influence (e.g., sensitive or illegal information) and the associated model capabilities, while maintaining the integrity of essential knowledge generation and not affecting causally unrelated information. We envision LLM unlearning becoming a pivotal element in the life-cycle management of LLMs, potentially standing as an essential foundation for developing generative AI that is not only safe, secure, and trustworthy, but also resource-efficient without the need of full retraining. We navigate the unlearning landscape in LLMs from conceptual formulation, methodologies, metrics, and applications. In particular, we highlight the often-overlooked aspects of existing LLM unlearning research, e.g., unlearning scope, data-model interaction, and multifaceted efficacy assessment. We also draw connections between LLM unlearning and related areas such as model editing, influence functions, model explanation, adversarial training, and reinforcement learning. Furthermore, we outline an effective assessment framework for LLM unlearning and explore its applications in copyright and privacy safeguards and sociotechnical harm reduction.

研究动机与目标

• 解决因大语言模型记忆敏感、偏见或非法数据而引发的日益增长的伦理与安全风险。
• 开发一种原则性强、可扩展的遗忘方法，可在不完全重新训练的前提下，移除特定数据的影响。
• 识别并解决LLM遗忘中被忽视的维度，包括作用范围精确性、数据-模型交互以及对抗鲁棒性。
• 将LLM遗忘与模型编辑、影响函数和对抗训练等相关领域联系起来，实现方法论上的协同增效。
• 建立标准化的评估框架，用于在多样化的安全与可信度标准下评估遗忘的有效性。

提出的方法

• 提出一种LLM遗忘的概念性框架，明确区分数据影响的移除与模型能力的删除。
• 引入多维评估策略，结合精确率、召回率和对抗性测试，以评估遗忘的有效性。
• 强调基于定位信息的遗忘方法，通过识别关键影响参数，提升效率与目标特异性。
• 借鉴影响函数与模型编辑技术，追踪并逆转参数空间中的数据效应。
• 整合对抗性评估，以检验模型在基于提示的规避攻击和后门式攻击下的鲁棒性。
• 提出统一的评估流程，结合内在指标（如在未学习数据上的准确率）与外在基准（如公平性、毒性降低）。

Figure 1: Demonstration of how MU can be incorporated into LLM development cycle. The landscape of LLM unlearning will be mainly navigated from applications (‘why’), methods (‘where’ and ‘how’), and evaluations.

实验结果

研究问题

• RQ1 如何精确界定遗忘的作用范围，以仅移除目标数据影响，而不影响其他无关的模型能力？
• RQ2 当前LLM遗忘方法在方法论与评估方面存在哪些关键缺口？
• RQ3 数据-模型交互如何影响遗忘性能与泛化能力？
• RQ4 遗忘如何与模型编辑、影响函数等关联领域结合，以提升有效性？
• RQ5 遗忘对构建可信、安全且资源高效的LLM具有哪些长期影响？

主要发现

• 当前LLM遗忘方法存在评估协议不一致且缺乏标准化语料库的问题，限制了可复现性与可比性。
• 精确的遗忘作用范围定义至关重要，可避免过度或不足遗忘，基于定位信息的方法在效率与有效性方面表现更优。
• 对抗性评估揭示，许多遗忘方法在基于提示的规避攻击下表现不佳，凸显了鲁棒性测试的必要性。
• 通过针对性地处理事实错误或刻板印象的训练数据，遗忘可有效减少幻觉与偏见。
• 遗忘与模型编辑之间存在强烈的概念与方法论关联，但两者在公式化与目标上存在差异：遗忘聚焦于影响的移除，而编辑聚焦于能力的修改。
• 将遗忘与影响函数及对抗训练相结合，为构建更可靠、更可信的LLM提供了有前景的发展路径。