[论文解读] SSSE: Efficiently Erasing Samples from Trained Machine Learning Models

Alexandra Peşte, Dan Alistarh+1 more|arXiv (Cornell University)|Jul 8, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用 5

一句话总结

SSSE 是一种新颖且高效的方法，通过使用经验 Fisher 信息矩阵（FIM）计算闭式参数更新，从已训练的机器学习模型中擦除特定训练样本，实现接近从零开始重新训练的近优性能，同时仅需访问待擦除的数据。它通过利用完整的 FIM 结构和秩一更新，优于先前的方法，适用于凸与非凸模型。

ABSTRACT

The availability of large amounts of user-provided data has been key to the success of machine learning for many real-world tasks. Recently, an increasing awareness has emerged that users should be given more control about how their data is used. In particular, users should have the right to prohibit the use of their data for training machine learning systems, and to have it erased from already trained systems. While several sample erasure methods have been proposed, all of them have drawbacks which have prevented them from gaining widespread adoption. Most methods are either only applicable to very specific families of models, sacrifice too much of the original model's accuracy, or they have prohibitive memory or computational requirements. In this paper, we propose an efficient and effective algorithm, SSSE, for samples erasure, that is applicable to a wide class of machine learning models. From a second-order analysis of the model's loss landscape we derive a closed-form update step of the model parameters that only requires access to the data to be erased, not to the original training set. Experiments on three datasets, CelebFaces attributes (CelebA), Animals with Attributes 2 (AwA2) and CIFAR10, show that in certain cases SSSE can erase samples almost as well as the optimal, yet impractical, gold standard of training a new model from scratch with only the permitted data.

研究动机与目标

• 为应对用户撤回同意并从已训练的机器学习模型中擦除个人数据的日益增长需求，特别是在 GDPR 等法规背景下。
• 克服现有样本擦除方法的局限性，这些方法要么计算成本过高，要么准确性不足，或仅限于特定模型类型。
• 开发一种通用、高效且准确的方法，可在不从头重新训练的情况下，从已训练模型中移除单个或部分训练样本。
• 提供一种确定性、理论基础扎实且实用的解决方案，仅需访问待擦除的数据，而无需完整的原始训练数据集。

提出的方法

• SSSE 使用原始模型最优参数处的留-k-外损失的一阶泰勒展开，为模型参数制定一种类似牛顿的更新方法。
• 它通过经验 Fisher 信息矩阵（FIM）近似 Hessian 矩阵，利用每个数据点一个梯度实现高效计算，并通过秩一更新实现快速矩阵求逆。
• 该方法使用完整的 FIM（而非仅对角元素），捕捉了特征间的交叉依赖关系，相比先前方法（如 scrubbing）提升了擦除准确性。
• 它计算模型参数的单步闭式更新，以反映指定训练样本的移除，最大限度减少对迭代优化的依赖。
• 该方法适用于凸与非凸模型，在凸情况下具有更强的理论保证，因为最优解唯一。
• 通过新颖的评估指标——二元/多项式分类的混淆距离——选择超参数，这些指标在标准准确率之外评估擦除质量。

实验结果

研究问题

• RQ1 单步闭式参数更新是否能在不访问原始训练数据的情况下，实现接近从零开始重新训练的样本擦除性能？
• RQ2 与先前工作中仅使用对角元素或添加噪声相比，使用完整 FIM（包括非对角项）的效果如何？
• RQ3 SSSE 方法在有效移除目标样本的同时，对未擦除数据的模型准确性保持程度如何？
• RQ4 该方法对被移除样本数量的敏感性如何？这是否会影响泰勒近似的有效性？
• RQ5 所提出的评估指标——混淆距离及其比值——是否能有效指导超参数选择并真实反映擦除质量？

主要发现

• SSSE 在 CelebA、AwA2 和 CIFAR10 数据集上实现的样本擦除性能几乎与从零开始重新训练的黄金标准无法区分。
• 与仅使用对角元素或添加噪声的方法相比，使用完整 FIM（包括非对角项）显著提升了擦除质量，直接对比结果已证实这一点。
• 该方法优于梯度上升和 scrubbing 更新，尤其在保持未擦除样本准确性的同时，有效使被移除样本被错误分类。
• 通过混淆距离比值选择的最优超参数 ε，使得 SSSE 更新在测试数据和被移除数据子集上均与微调后的模型 θ⋆₋ₛ 行为高度一致。
• 在更新中包含来自留-k-外训练集（D∖S）的梯度可略微提升性能，表明存在进一步优化的潜力。
• 该方法具有鲁棒性和实用性：仅需访问待擦除的数据，无需原始数据集，且通过单步确定性闭式更新完成。