[论文解读] Statistical Roughness-Informed Machine Unlearning

Mohammad Partohaghighi, Roummel F. Marcia+2 more|arXiv (Cornell University)|Feb 10, 2026

Adversarial Robustness in Machine Learning被引用 0

一句话总结

SRAGU 通过基于重尾谱的统计粗糙度对层级未学习更新进行调制，在删除情形下提升稳定性和对金再训练模型的保真度。

ABSTRACT

Machine unlearning aims to remove the influence of a designated forget set from a trained model while preserving utility on the retained data. In modern deep networks, approximate unlearning frequently fails under large or adversarial deletions due to pronounced layer-wise heterogeneity: some layers exhibit stable, well-regularized representations while others are brittle, undertrained, or overfit, so naive update allocation can trigger catastrophic forgetting or unstable dynamics. We propose Statistical-Roughness Adaptive Gradient Unlearning (SRAGU), a mechanism-first unlearning algorithm that reallocates unlearning updates using layer-wise statistical roughness operationalized via heavy-tailed spectral diagnostics of layer weight matrices. Starting from an Adaptive Gradient Unlearning (AGU) sensitivity signal computed on the forget set, SRAGU estimates a WeightWatcher-style heavy-tailed exponent for each layer, maps it to a bounded spectral stability weight, and uses this stability signal to spectrally reweight the AGU sensitivities before applying the same minibatch update form. This concentrates unlearning motion in spectrally stable layers while damping updates in unstable or overfit layers, improving stability under hard deletions. We evaluate unlearning via behavioral alignment to a gold retrained reference model trained from scratch on the retained data, using empirical prediction-divergence and KL-to-gold proxies on a forget-focused query set; we additionally report membership inference auditing as a complementary leakage signal, treating forget-set points as should-be-forgotten members during evaluation.

研究动机与目标

• 在深度网络中考虑层级异质性和优化几何性，激发对鲁棒机器未学习的需求。
• 开发 SRAGU，一种机制优先的未学习算法，通过谱诊断推断的层稳定性对未学习更新进行重加权。
• 在保留数据上维持效用，同时有效移除忘记集合的影响。
• 提供可实施的方法论，将谱诊断整合到现有的 AGU 工作流中。

提出的方法

• 建立在 Adaptive Gradient Unlearning (AGU) 的基础上，从遗忘集合计算参数敏感性。
• 从每一层权重 Gram 矩阵 C_l 的前几个特征值估计层级的重尾指数 ξl。
• 使用一个在区间内的光滑门控，将 ξl 映射到有界的谱稳定权重 νl。
• 通过在应用标准小批量更新前，将 Rj 乘以 νl(j) 来对谱地重加权 AGU 的敏感性。
• 使用与 AGU 相同的未学习更新形式，但采用谱重加权的敏感性。
• 采用基于漂移的停止规则：当参数漂移低于阈值或达到最大步数时停止。

实验结果

研究问题

• RQ1 层级稳定性如何为深度网络中未学习更新的安全分配提供信息？
• RQ2 将谱诊断引入未学习是否能减少遗忘并提高与金模再训练的对齐？
• RQ3 在不同删除策略下，SRAGU 是否能在移除忘记集合影响的同时保持对保留数据的准确性？
• RQ4 与现有基线相比，使用 SRAGU 在效率和隐私信号方面的实际提升有哪些？

主要发现

• SRAGU 在谱稳定的层中集中未学习的运动，在不稳定或过拟合的层中抑制更新。
• 面对删除请求时，SRAGU 相对于 AGU 和其他基线在稳定性和与金模型的一致性方面有提升。
• SRAGU 在减少忘记集合的预测散度和对金模型的 KL 散度的同时，保持或提高对保留数据的准确性。
• 实验覆盖多种数据集（MNIST、CIFAR-10/100、UCI Adult）和多种删除策略，显示出稳健的性能提升。
• 层级诊断显示更新分配与谱稳定性相关，支持所提出的机理。