[论文解读] Privacy Risk in Machine Learning: Analyzing the Connection to Overfitting

Samuel Yeom, Irene Giacomelli+2 more|arXiv (Cornell University)|Sep 5, 2017

Privacy-Preserving Technologies in Data参考文献 36被引用 11

一句话总结

本文建立了机器学习中过拟合与隐私风险之间的精确联系，证明过拟合是多种算法下成员推理攻击的充分条件。此外，研究还揭示了目标属性和模型结构的影响可在非过拟合模型中引发隐私泄露，挑战了仅靠泛化能力即可保障隐私的假设。

ABSTRACT

Machine learning algorithms, when applied to sensitive data, pose a distinct threat to privacy. A growing body of prior work demonstrates that models produced by these algorithms may leak specific private information in the training data to an attacker, either through the models' structure or their observable behavior. However, the underlying cause of this privacy risk is not well understood beyond a handful of anecdotal accounts that suggest overfitting and influence might play a role. This paper examines the effect that overfitting and influence have on the ability of an attacker to learn information about the training data from machine learning models, either through training set membership inference or attribute inference attacks. Using both formal and empirical analyses, we illustrate a clear relationship between these factors and the privacy risk that arises in several popular machine learning algorithms. We find that overfitting is sufficient to allow an attacker to perform membership inference and, when the target attribute meets certain conditions about its influence, attribute inference attacks. Interestingly, our formal analysis also shows that overfitting is not necessary for these attacks and begins to shed light on what other factors may be in play. Finally, we explore the connection between membership inference and attribute inference, showing that there are deep connections between the two that lead to effective new attacks.

研究动机与目标

• 正式分析机器学习模型中过拟合、影响与隐私风险之间的关系。
• 基于精确的正式度量，定义并量化成员推理攻击和属性推理攻击中的隐私优势。
• 研究过拟合是否为隐私泄露的必要且充分条件，尤其在黑盒设置下。
• 探讨模型结构与影响如何在无过拟合情况下仍促成攻击。
• 通过算法替换演示隐私攻击的可行性，即恶意学习规则可在模型泛化性能良好时泄露成员信息。

提出的方法

• 基于攻击者在训练数据与测试数据上准确率的差异，提出成员推理与属性推理优势的正式定义。
• 从泛化误差（过拟合）角度分析成员推理优势，证明在特定条件下存在直接正比关系。
• 提出一种共谋攻击者与学习规则（$A^{ ext{C}}, ilde{ ext{A}}^{ ext{C}}$）的理论构造，使稳定且非过拟合的模型仍可实现成员推理。
• 通过真实世界数据集上的深度卷积神经网络，实证验证过拟合与成员推理攻击性能之间的关联。
• 利用正则化与模型结构控制，隔离过拟合与影响对隐私风险的影响。
• 证明目标属性对模型输出的影响是属性推理攻击的关键因素，尤其在与过拟合结合时。

实验结果

研究问题

• RQ1 在标准机器学习模型中，过拟合在多大程度上决定了成员推理攻击的成功率？
• RQ2 过拟合是否为成员推理攻击所必需？隐私泄露是否可能发生在稳定且非过拟合的模型中？
• RQ3 目标属性对模型输出的影响如何影响属性推理攻击的成功率？
• RQ4 成员推理攻击与属性推理攻击之间存在何种关系？能否将一种攻击归约为另一种？
• RQ5 能否设计一种恶意学习算法，生成与良性模型无法区分但会泄露成员信息的模型？

主要发现

• 过拟合是成员推理攻击的充分条件，在多个真实世界数据集中，攻击精度与泛化误差高度相关。
• 过拟合并非成员推理攻击所必需：通过共谋攻击者，稳定的学习算法可被攻破，实现无过拟合条件下的精确成员信息泄露。
• 目标属性对模型输出的影响是属性推理攻击的关键因素，尤其在与过拟合结合时更为显著。
• 形式化归约表明成员推理与属性推理之间存在深层联系，表明对一种攻击的分析可为另一种攻击提供启示或支持。
• 基于模型置信度得分的黑盒成员推理攻击性能几乎与先前最先进方法相当，同时计算开销更低且假设更少。
• 在特定假设下推导出成员优势的理论边界，表明即使拥有任意背景知识的攻击者，也能利用过拟合推断训练成员身份。