[论文解读] Towards Security Threats of Deep Learning Systems: A Survey

Yingzhe He, Guozhu Meng+3 more|arXiv (Cornell University)|Nov 28, 2019

Adversarial Robustness in Machine Learning参考文献 255被引用 11

一句话总结

本综述对深度学习中的四大主要安全威胁——对抗攻击、模型提取、模型反演和投毒攻击——进行了系统性分析，通过剖析其工作流程、攻击者能力及性能指标，识别出查询效率和扰动距离等关键因素，提出了18条可操作的见解，以提升模型鲁棒性并指导未来防御研究。

ABSTRACT

Deep learning has gained tremendous success and great popularity in the past few years. However, deep learning systems are suffering several inherent weaknesses, which can threaten the security of learning models. Deep learning's wide use further magnifies the impact and consequences. To this end, lots of research has been conducted with the purpose of exhaustively identifying intrinsic weaknesses and subsequently proposing feasible mitigation. Yet few are clear about how these weaknesses are incurred and how effective these attack approaches are in assaulting deep learning. In order to unveil the security weaknesses and aid in the development of a robust deep learning system, we undertake an investigation on attacks towards deep learning, and analyze these attacks to conclude some findings in multiple views. In particular, we focus on four types of attacks associated with security threats of deep learning: model extraction attack, model inversion attack, poisoning attack and adversarial attack. For each type of attack, we construct its essential workflow as well as adversary capabilities and attack goals. Pivot metrics are devised for comparing the attack approaches, by which we perform quantitative and qualitative analyses. From the analysis, we have identified significant and indispensable factors in an attack vector, e.g., how to reduce queries to target models, what distance should be used for measuring perturbation. We shed light on 18 findings covering these approaches' merits and demerits, success probability, deployment complexity and prospects. Moreover, we discuss other potential security weaknesses and possible mitigation which can inspire relevant research in this area.

研究动机与目标

• 系统剖析四种主要深度学习安全威胁（对抗攻击、模型提取、模型反演和投毒攻击）的攻击向量。
• 分析攻击者的权限能力、攻击目标以及各类攻击的完整生命周期，以明确实际攻击的执行方式。
• 建立标准化的基准指标，用于对不同研究中攻击方法的定量与定性比较。
• 提炼出18项关键发现，涵盖攻击有效性、成功率、部署复杂性及局限性，以指导未来防御研究。
• 探索潜在的缓解策略，并识别在应对不断演变的威胁时，保障深度学习系统安全所面临的开放性挑战。

提出的方法

• 对四类攻击（对抗攻击、模型提取、模型反演和投毒攻击）的245篇文献进行了分类与分析。
• 为每类攻击构建了标准化的工作流程，详细描述了从初始访问到最终影响的分步执行过程。
• 基于查询访问、模型访问和数据访问等能力定义了攻击者模型，以明确威胁面的边界。
• 引入了包括查询效率、扰动距离（如Lp范数）、成功率和计算成本在内的基准指标，用于跨攻击类型的比较。
• 利用实证性能数据评估了防御技术，如防御蒸馏、特征压缩、对抗训练和基于检测的防御。
• 综合分析了攻击的权衡关系，包括资源密集型攻击的成本-收益分析，以及现有防御机制的局限性。

实验结果

研究问题

• RQ1 深度学习中对抗攻击、模型提取、模型反演和投毒攻击的核心组成部分及其分步工作流程是什么？
• RQ2 不同的攻击者能力（如查询访问或模型访问）如何影响各类攻击的可行性与成功率？
• RQ3 可用于公平比较不同威胁模型下多样化攻击方法性能的指标有哪些？
• RQ4 攻击成本（时间、计算资源、资源消耗）与攻击收益（如模型窃取、数据泄露）之间的权衡关系如何？
• RQ5 最有效的防御策略是什么？它们在真实部署场景中的局限性是什么？

主要发现

• 查询效率是模型提取攻击中的关键因素；将查询次数降低一个数量级以上仍是主要开放性挑战。
• Lp-范数距离并不总是扰动的可靠度量，因为即使扰动较大，人类也可能无法察觉，表明需要更优的感知度量指标。
• 防御蒸馏和特征压缩可显著降低对抗样本的成功率，部分方法在FGSM和JSMA攻击下实现了超过90%的鲁棒性。
• 结合多种防御技术（如HE + MPC）可提升安全性，但会增加系统开销，尤其是在带宽和延迟方面。
• 攻击成功率高度依赖于模型复杂度和架构，深层网络通常对基于梯度的攻击更易受攻击。
• 攻击的成本-收益权衡在不同场景下并非均匀分布，部分攻击需大量影子模型训练（如每数据点平均156次查询）才能获得高成功率。