[论文解读] Towards Unbounded Machine Unlearning

Meghdad Kurmanji, Peter Triantafillou+2 more|arXiv (Cornell University)|Feb 20, 2023

COVID-19 diagnosis using AI被引用 16

一句话总结

SCRUB 被提出为一种可扩展的去学习方法，使用教师-学生框架在保护偏见、混淆和隐私应用的效用的同时忘记部分训练数据；SCRUB 还包括一个回退变体以调节忘记质量以适应隐私，并且采用了基于 LiRA 的适配性成员资格推断攻击来评估隐私防御。

ABSTRACT

Deep machine unlearning is the problem of `removing' from a trained neural network a subset of its training set. This problem is very timely and has many applications, including the key tasks of removing biases (RB), resolving confusion (RC) (caused by mislabelled data in trained models), as well as allowing users to exercise their `right to be forgotten' to protect User Privacy (UP). This paper is the first, to our knowledge, to study unlearning for different applications (RB, RC, UP), with the view that each has its own desiderata, definitions for `forgetting' and associated metrics for forget quality. For UP, we propose a novel adaptation of a strong Membership Inference Attack for unlearning. We also propose SCRUB, a novel unlearning algorithm, which is the only method that is consistently a top performer for forget quality across the different application-dependent metrics for RB, RC, and UP. At the same time, SCRUB is also consistently a top performer on metrics that measure model utility (i.e. accuracy on retained data and generalization), and is more efficient than previous work. The above are substantiated through a comprehensive empirical evaluation against previous state-of-the-art.

研究动机与目标

• 将去学习定义为面向应用的任务并加以形式化，对于移除偏见（RB）、解决因标注错误引发的混淆（RC）以及用户隐私（UP）有各自的忘记愿望。
• 提出一个可扩展的教师-学生去学习框架（SCRUB），通过选择性地违背教师来忘记目标数据，同时保留对保留数据的知识。
• 提供一个回退扩展（SCRUB+R），以在隐私方面对抗 membership inference 攻击时校准忘记质量。
• 在数据集（CIFAR-10、Lacuna-10）与架构（ResNet、All-CNN）上以及 RB、RC、UP 任务之间对 SCRUB 进行与最先进基线方法的实证比较。

提出的方法

• 将去学习建模为教师-学生问题，学生从教师的权重开始训练，在保持对保留集合的接近的同时忘记忘记集合。
• 定义对比目标：在保留数据上最小化教师与学生输出之间的 KL 散度并在忘记数据上最大化，同时在保留数据上最小化监督损失：最小化 alpha * (保留数据的 d) + gamma * (保留数据的监督损失) - (忘记数据的 d)。
• 通过交替的最大步（忘记集合）和最小步（保留集合）来优化目标以稳定训练；最后再进行额外的最小步以恢复保留性能。
• 增加 SCRUB+R 回退以选择一个检查点，使忘记集合误差与来自分布匹配的验证集推导的参考点相匹配，从而改善隐私防御。
• 将 LiRA 风格的成员资格推断攻击改编用于评估 UP 性能，提供一个实用的面向隐私的度量。
• 提供 SCRUB 的开源实现。

实验结果

研究问题

• RQ1 应如何定义和衡量不同应用（RB、RC、UP）下的忘记？
• RQ2 一个去学习框架是否能在不同应用中鲁棒地保持模型效用？
• RQ3 教师-学生公式（SCRUB）是否在忘记质量和效率方面优于先前的去学习方法？
• RQ4 如何校准忘记质量以在隐私防御和效用之间取得平衡（SCRUB+R）？
• RQ5 去学习对成员资格推断攻击的影响如何，并如何使用改编的 MIAs 来量化？

主要发现

• SCRUB 在 RB、RC、UP 指标上始终实现最高的忘记性能，同时保持保留数据的准确性和泛化能力。
• 在 CIFAR-5/Lacuna-5 及更大规模设置中，SCRUB 在忘记质量和效用方面优于基线方法（如 Finetune、NegGrad+、CF-k、EU-k、NTK/Fisher 等）。
• SCRUB+R（回退）通过选择与隐私参考点对齐的忘记集合误差的检查点来提升对成员资格推断攻击的防御效果。
• 在 RC 实验中，对 CIFAR-5/Lacuna-5 的情境下，SCRUB 在解决类别混淆方面表现最强，且对保留/测试性能影响最小。
• 在 UP 实验中，SCRUB+R 能有效防御 MIAs，在某些配置下忘记误差接近于再训练；使用基于 LiRA 的 MIAAdapt 评估隐私防御。
• 总体而言，SCRUB 的无界设计在跨应用的可扩展性和性能稳定性方面优于先前方法。