[论文解读] Reconstruction Attacks on Machine Unlearning: Simple Models are Vulnerable

Martín Bertrán, Shuai Tang+4 more|arXiv (Cornell University)|May 30, 2024

Robotic Process Automation Applications被引用 4

一句话总结

本文表明，简单模型中的机器遗忘——尤其是线性回归和带嵌入的线性模型——会使数据面临近乎完美重建攻击的威胁。通过利用删除前后的模型参数差异，作者证明攻击者即使在模型本身隐私泄露风险较低的情况下，也能以高保真度恢复被删除的数据点。

ABSTRACT

Machine unlearning is motivated by desire for data autonomy: a person can request to have their data's influence removed from deployed models, and those models should be updated as if they were retrained without the person's data. We show that, counter-intuitively, these updates expose individuals to high-accuracy reconstruction attacks which allow the attacker to recover their data in its entirety, even when the original models are so simple that privacy risk might not otherwise have been a concern. We show how to mount a near-perfect attack on the deleted data point from linear regression models. We then generalize our attack to other loss functions and architectures, and empirically demonstrate the effectiveness of our attacks across a wide range of datasets (capturing both tabular and image data). Our work highlights that privacy risk is significant even for extremely simple model classes when individuals can request deletion of their data from the model.

研究动机与目标

• 调查简单模型中的机器遗忘是否会引入标准训练中不存在的新隐私风险。
• 分析从模型中删除数据是否可能无意中泄露被删除数据点的信息。
• 开发一种利用删除前后模型参数差异的实用重建攻击。
• 通过二阶近似方法将攻击扩展至具有固定嵌入和非线性目标函数的模型。
• 证明即使在低复杂度模型（如岭回归）中，应用遗忘机制后仍可能遭受高精度重建攻击。

提出的方法

• 利用线性回归中的闭式单样本更新规则，计算删除前后模型参数的差异。
• 从来自同一分布的公开独立数据集中估计训练数据的协方差矩阵。
• 应用截距归一化技术以提升线性模型中重建的准确性。
• 通过重建被删除样本的嵌入并求解逆问题，将攻击扩展至具有固定嵌入的模型。
• 使用牛顿法近似被删除样本相对于模型参数的梯度，从而将方法推广至通用损失函数。
• 采用扰动基线（MaxDiff）进行比较，验证所提方法（HRec）在重建质量上的优越性。

Figure 1 : We conduct membership inference attacks on a ridge regression on ACS Income task; the attack performance is poor (close to random guessing).

实验结果

研究问题

• RQ1 攻击者能否仅通过删除前后的模型参数，以高精度重建被删除的数据点？
• RQ2 在传统上被认为隐私风险较低的简单模型（如线性回归）中，重建攻击的脆弱性是否依然存在？
• RQ3 该攻击在具有固定嵌入或非线性目标函数的模型中能多大程度上实现泛化？
• RQ4 当真实协方差矩阵和正则化参数未知且需估计时，该攻击的效能如何？
• RQ5 二阶遗忘近似是否能使无解析单样本更新的模型实现重建？

主要发现

• 当真实协方差矩阵和正则化参数已知时，所提攻击在线性回归模型中实现了近乎完美的被删除样本重建。
• 即使使用估计的协方差矩阵且 $λ = 0$，该攻击在使用原始特征的ACS收入数据集上仍实现了近乎完美的重建精度。
• 对于使用随机傅里叶特征的岭回归模型，该攻击以高保真度重建了原始数据点，显著优于基线方法。
• 在使用逻辑回归和SVM的二分类任务中，尽管缺乏解析的单样本更新规则，该攻击仍实现了重建样本与原始样本之间的高相似度评分。
• 当使用牛顿法近似梯度时，该方法依然有效，从而实现了复杂损失函数模型中的重建。
• 视觉和定量比较表明，HRec生成的重建结果与原始被删除图像（如CIFAR-10中的图像）高度相似，而MaxDiff的表现则显著较差。