[论文解读] Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models

Jiaqi Li, Qianshan Wei+6 more|arXiv (Cornell University)|May 21, 2024

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本文提出单图像遗忘（Single Image Unlearning, SIU），一种高效遗忘多模态大语言模型（MLLMs）中视觉概念的方法，仅需每概念一个图像进行微调。SIU 通过四个遗忘目标构建多维微调数据，并引入一种新型双掩码 KL 散度损失，联合遗忘目标视觉知识的同时保持模型效用，在新基准 MMUBench 上优于现有方法，并对成员身份推断和越狱攻击表现出鲁棒性。

ABSTRACT

Machine unlearning empowers individuals with the `right to be forgotten' by removing their private or sensitive information encoded in machine learning models. However, it remains uncertain whether MU can be effectively applied to Multimodal Large Language Models (MLLMs), particularly in scenarios of forgetting the leaked visual data of concepts. To overcome the challenge, we propose an efficient method, Single Image Unlearning (SIU), to unlearn the visual recognition of a concept by fine-tuning a single associated image for few steps. SIU consists of two key aspects: (i) Constructing Multifaceted fine-tuning data. We introduce four targets, based on which we construct fine-tuning data for the concepts to be forgotten; (ii) Jointly training loss. To synchronously forget the visual recognition of concepts and preserve the utility of MLLMs, we fine-tune MLLMs through a novel Dual Masked KL-divergence Loss combined with Cross Entropy loss. Alongside our method, we establish MMUBench, a new benchmark for MU in MLLMs and introduce a collection of metrics for its evaluation. Experimental results on MMUBench show that SIU completely surpasses the performance of existing methods. Furthermore, we surprisingly find that SIU can avoid invasive membership inference attacks and jailbreak attacks. To the best of our knowledge, we are the first to explore MU in MLLMs. We will release the code and benchmark in the near future.

研究动机与目标

• 为解决在多模态大语言模型（MLLMs）中遗忘视觉概念的挑战，其中收集足够训练数据在实践中不可行。
• 开发一种仅需每概念一个图像的高效遗忘方法，降低资源需求。
• 在遗忘过程中保持模型效用，避免出现无意义或矛盾的输出。
• 建立一个全面的基准 MMUBench，用于评估 MLLMs 中的机器遗忘。
• 研究遗忘方法对成员身份推断和越狱攻击的鲁棒性。

提出的方法

• 基于四个遗忘目标构建多维微调数据：与未见概念对齐、分配新的视觉描述、解耦事实知识，以及保留非目标知识。
• 引入一种双掩码 KL 散度（DMK）损失，通过在标记级别和词汇级别应用掩码，从 KL 损失计算中排除冲突和目标概念标记。
• 通过梯度下降联合优化 DMK 损失与交叉熵损失，以平衡遗忘与效用保持。
• 设计一个新基准 MMUBench，包含 20 个概念，每个概念至少有 50 张图像，其中一张用于遗忘，其余用于泛化评估。
• 定义多维评估方案，包括有效性、泛化性、特异性、流畅性和多样性，以评估遗忘性能。
• 在每概念一个图像的基础上进行基于梯度的微调，最大限度减少对大规模遗忘数据集的需求。

Figure 1 : Overview of the Unlearning Process in MLLMs Using SIU. The process starts with a user request to unlearn the visual recognition of concepts, utilizing MMUBench (introduced in Section 5 ) to provide concepts for unlearning. SIU has two elements which are Multifaceted Fine-tuning Data and D

实验结果

研究问题

• RQ1 机器遗忘能否有效应用于多模态大语言模型（MLLMs）以遗忘视觉概念？
• RQ2 能否仅用每概念一个图像实现高效遗忘，避免对大规模遗忘数据集的需求？
• RQ3 所提出的 SIU 方法在有效遗忘目标视觉知识的同时是否保持了模型效用？
• RQ4 SIU 在有效性、泛化性和鲁棒性方面相较于现有遗忘方法表现如何？
• RQ5 SIU 是否能抵抗成员身份推断和越狱等入侵攻击？

主要发现

• SIU 在 MMUBench 基准的所有评估指标上全面超越现有方法，展现出卓越的有效性和泛化能力。
• 该方法仅用每概念一个图像即实现对视觉概念的有效遗忘，显著降低数据与计算需求。
• SIU 在遗忘后保持了模型输出的高流畅性与多样性，避免出现无意义或矛盾的输出。
• SIU 对成员身份推断和越狱攻击表现出鲁棒性，表明其具备更强的安全特性。
• 所提出的双掩码 KL 散度损失在微调过程中有效平衡了遗忘与效用保持。
• 基准 MMUBench 使得 MLLMs 中机器遗忘的全面且标准化评估成为可能，为未来研究设立了新标准。

Figure 6 : Candidate names for targeted unlearning concepts.