[论文解读] Towards the Science of Security and Privacy in Machine Learning

Nicolas Papernot, Patrick McDaniel+2 more|arXiv (Cornell University)|Nov 11, 2016

Privacy-Preserving Technologies in Data被引用 191

一句话总结

本综述SoK调查机器学习中的安全与隐私，提出用于ML管道的统一威胁模型、攻击/防御的分类、基于PAC的解释，以及强调准确性与鲁棒性权衡的无自由午餐定理。

ABSTRACT

Advances in machine learning (ML) in recent years have enabled a dizzying array of applications such as data analytics, autonomous systems, and security diagnostics. ML is now pervasive---new systems and models are being deployed in every domain imaginable, leading to rapid and widespread deployment of software based inference and decision making. There is growing recognition that ML exposes new vulnerabilities in software systems, yet the technical community's understanding of the nature and extent of these vulnerabilities remains limited. We systematize recent findings on ML security and privacy, focusing on attacks identified on these systems and defenses crafted to date. We articulate a comprehensive threat model for ML, and categorize attacks and defenses within an adversarial framework. Key insights resulting from works both in the ML and security communities are identified and the effectiveness of approaches are related to structural elements of ML algorithms and the data used to train them. We conclude by formally exploring the opposing relationship between model accuracy and resilience to adversarial manipulation. Through these explorations, we show that there are (possibly unavoidable) tensions between model complexity, accuracy, and resilience that must be calibrated for the environments in which they will be used.

研究动机与目标

• 为在整个数据管线中整合机器学习的系统引入统一的威胁模型。
• 在对抗框架内，从ML、安全、统计与理论角度对攻击与防御进行分类。
• 在培训阶段和推理阶段分析跨越CIA（保密性、完整性、可用性）以及隐私维度的攻击。
• 讨论防御目标，如对分布漂移的鲁棒性、形式化隐私保障、公平性与问责制。
• 建立一个无自由午餐定理，描述模型复杂度、准确性与对抗操控鲁棒性之间的权衡。

提出的方法

• 提出覆盖数据收集、训练和推理过程的统一ML威胁模型。
• 将对抗能力和攻击者目标分类（推理阶段的白盒/黑盒；训练阶段的投毒和数据操控）。
• 在PAC学习理论框架内将攻击/防御设定，以将经验风险最小化与对抗风险联系起来。
• 分析ML系统中的保密性/privacy、完整性和可用性，以及攻击如何在模型和管线层面体现。
• 讨论防御措施，包括对分布漂移的鲁棒性、差分隐私、公平性与透明度。
• 提出一个对抗性ML的无自由午餐定理，说明在有限数据下固有的权衡。

实验结果

研究问题

• RQ1 在其数据管线中整合机器学习的系统，什么是全面的威胁模型？
• RQ2 如何通过PAC学习理论对ML中的攻击与防御进行分类和理解？
• RQ3 模型准确性、对抗操控鲁棒性和数据规模之间的基本权衡是什么？
• RQ4 安全/隐私目标如何映射到ML管线中的保密性、完整性、可用性和隐私？

主要发现

• 在ML系统中，模型复杂性、准确性与对抗操控的鲁棒性之间存在张力。
• 攻击可以针对数据收集、训练或推理阶段，影响保密性、完整性、可用性和隐私。
• 基于PAC的视角有助于将经验风险最小化与对抗性风险联系起来，阐明在对抗性数据变动下的界限。
• 投毒攻击表明，在某些条件下，部分对抗性操控的数据就能显著降低性能。
• 存在无自由午餐属性，表明实现鲁棒性常伴随准确性或数据需求的权衡。
• 统一的威胁模型和系统的分类法可以指导跨越ML、安全、统计与理论界的防御与研究。