[论文解读] Threats, Attacks, and Defenses in Machine Unlearning: A Survey

Ziyao Liu, Huanyi Ye+3 more|arXiv (Cornell University)|Mar 20, 2024

Quality and Safety in Healthcare被引用 4

一句话总结

本综述提供了机器遗忘（MU）中威胁、攻击与防御的全面分类法，分析了信息泄露和恶意遗忘请求等漏洞。它探讨了遗忘在模型鲁棒性评估与防御机制中的双重角色，同时指出了联邦学习、大规模及隐私保护遗忘系统中的关键研究空白。

ABSTRACT

Machine Unlearning (MU) has recently gained considerable attention due to its potential to achieve Safe AI by removing the influence of specific data from trained Machine Learning (ML) models. This process, known as knowledge removal, addresses AI governance concerns of training data such as quality, sensitivity, copyright restrictions, and obsolescence. This capability is also crucial for ensuring compliance with privacy regulations such as the Right To Be Forgotten (RTBF). Furthermore, effective knowledge removal mitigates the risk of harmful outcomes, safeguarding against biases, misinformation, and unauthorized data exploitation, thereby enhancing the safe and responsible use of AI systems. Efforts have been made to design efficient unlearning approaches, with MU services being examined for integration with existing machine learning as a service (MLaaS), allowing users to submit requests to remove specific data from the training corpus. However, recent research highlights vulnerabilities in machine unlearning systems, such as information leakage and malicious unlearning, that can lead to significant security and privacy concerns. Moreover, extensive research indicates that unlearning methods and prevalent attacks fulfill diverse roles within MU systems. This underscores the intricate relationship and complex interplay among these mechanisms in maintaining system functionality and safety. This survey aims to fill the gap between the extensive number of studies on threats, attacks, and defenses in machine unlearning and the absence of a comprehensive review that categorizes their taxonomy, methods, and solutions, thus offering valuable insights for future research directions and practical implementations.

研究动机与目标

• 为应对机器遗忘（MU）系统中威胁、攻击与防御日益增长的系统性审查需求。
• 识别并分类MU中多样的威胁模型、攻击向量与防御机制，特别是对隐私、安全与合规性的影响。
• 探索遗忘作为防御后门攻击手段及评估遗忘有效性工具的双重角色。
• 突出联邦遗忘、大规模模型遗忘及隐私保护遗忘机制中的关键研究空白。
• 通过阐明构建更安全、更可靠且符合隐私合规要求的遗忘系统所面临的关键挑战与研究方向，为未来研究提供指导。

提出的方法

• 基于威胁模型提出机器遗忘中威胁与攻击的结构化分类法，包括数据泄露、后门注入和遗忘请求操纵。
• 分析遗忘机制如何被重新用作防御工具，例如从后门攻击中恢复模型。
• 研究将后门攻击用作评估指标，以测试遗忘方法的鲁棒性与有效性。
• 回顾现有遗忘方法，区分精确遗忘与近似遗忘，并评估其在效率与安全之间的权衡。
• 研究将隐私增强技术（PETs）如同态加密与差分隐私集成到遗忘系统中，以保护敏感数据。
• 识别联邦遗忘中的挑战，如数据隔离与知识扩散，以及大规模模型遗忘中的不可解释性与验证困难。

实验结果

研究问题

• RQ1 针对机器遗忘系统的首要威胁模型与攻击向量是什么？它们如何损害模型完整性与数据隐私？
• RQ2 遗忘除了用于数据删除外，如何可被用作抵御后门等对抗性攻击的防御机制？
• RQ3 后门攻击在何种方式下可作为评估遗忘机制有效性的基准？
• RQ4 当无法直接访问被遗忘数据时，如何实现隐私保护的遗忘，其关键挑战是什么？
• RQ5 联邦学习与大规模机器学习系统的独特属性如何使遗忘复杂化？需要何种防御措施？

主要发现

• 机器遗忘系统易受信息泄露与恶意遗忘请求的影响，尤其当遗忘请求与合法数据难以区分时。
• 通过移除污染训练数据的影响，遗忘可有效缓解后门攻击，证明其作为防御机制的实用性。
• 后门攻击被证明是衡量遗忘性能的有效评估工具，尤其在检测不完整或有缺陷的遗忘方面。
• 联邦遗忘仍基本未被探索，其挑战源于数据隔离与模型更新的分布式特性，使攻击更具隐蔽性。
• 大规模模型遗忘受模型行为不可解释性及标准验证方法（如成员推断攻击，MIA）在检测残留知识方面无效的限制。
• 使用同态加密与差分隐私等PETs实现隐私保护遗忘的研究仍不充分，其在隐私、效率与模型性能之间的权衡尚不明确。