[论文解读] Security of Deep Learning Methodologies: Challenges and Opportunities

Shahbaz Rezaei, Xin Liu|arXiv (Cornell University)|Dec 8, 2019

Adversarial Robustness in Machine Learning参考文献 6被引用 6

一句话总结

本文识别并分析了深度学习方法（如迁移学习、联邦学习、元学习和终身学习）中的独特安全漏洞，这些领域在以往的安全研究中长期被忽视。文章揭示了数据中毒、后门攻击和隐私泄露等风险，并呼吁针对每种方法的架构与训练动态设计针对性的防御机制。

ABSTRACT

Despite the plethora of studies about security vulnerabilities and defenses of deep learning models, security aspects of deep learning methodologies, such as transfer learning, have been rarely studied. In this article, we highlight the security challenges and research opportunities of these methodologies, focusing on vulnerabilities and attacks unique to them.

研究动机与目标

• 解决标准深度神经网络之外的机器学习方法缺乏全面安全分析的问题。
• 识别并分类针对迁移学习和元学习等方法的新型攻击向量，特别是数据中毒、后门攻击和隐私泄露。
• 揭示终身学习系统在灾难性遗忘攻击和跨任务后门传播方面的脆弱性。
• 强调由于这些学习范式引入了独特的威胁面，必须采用方法特定的安全防御措施。
• 激发对新兴机器学习方法安全性的进一步研究，尤其是在其日益被应用于关键任务场景的背景下。

提出的方法

• 将攻击分类为三类：逃避攻击（对抗样本）、数据中毒（训练数据操纵）和探索性攻击（如成员推断或模型反演等隐私违规）。
• 为每种方法应用威胁模型框架，定义攻击者的能力（白盒、灰盒、黑盒）和目标（完整性、可用性、隐私违规）。
• 通过建模后门预训练模型如何通过数据中毒被注入，分析迁移学习中的风险。
• 从元学习器访问的角度审视元学习：有限的黑盒访问使逃避攻击难以实施，但通过元数据注入实现数据中毒是可行的。
• 通过评估灾难性遗忘攻击和跨任务后门持久性的风险，研究终身学习。
• 提出防御措施必须针对每种方法的独特数据流、模型更新机制和知识保留策略进行定制。

实验结果

研究问题

• RQ1 迁移学习中存在哪些独特的安全漏洞？后门能否通过预训练模型传播？
• RQ2 在元学习中，数据中毒攻击的可行性如何？攻击者能否通过精心构造的元数据操纵元学习器？
• RQ3 攻击者是否可利用终身学习中知识保留的目标，在多个任务中植入持久后门？
• RQ4 探索性攻击（如模型反演或成员推断）在联邦学习或持续学习系统中，对隐私的威胁程度如何？
• RQ5 现有防御机制在多大程度上可被调整以应对灾难性遗忘或元学习器中毒等方法特定威胁？

主要发现

• 当预训练模型被中毒时，迁移学习易受后门攻击影响，攻击者可在特定触发器输入下实现恶意分类。
• 通过注入对抗性元数据，元学习中的数据中毒攻击是可行的，可能导致性能下降或迫使选择受损模型。
• 终身学习系统面临灾难性遗忘攻击的风险，攻击者可精心构造数据，在不影响新任务准确率的前提下降低旧任务性能。
• 若系统未能防止知识覆盖，后门可在终身学习中跨任务传播，导致模型广泛受损。
• 在联邦学习等隐私敏感环境中，探索性攻击（如模型反演和成员推断）仍是威胁，尤其在存在查询访问时。
• 现有防御机制不足以应对方法特定威胁，亟需为每种学习范式开发新型、针对性的防御方法。