[论文解读] Use Privacy in Data-Driven Systems: Theory and Experiments with Machine Learnt Programs

Anupam Datta, Matt Fredrikson+3 more|arXiv (Cornell University)|May 22, 2017

Privacy-Preserving Technologies in Data参考文献 46被引用 6

一句话总结

本文提出了一种形式化理论与实用框架，用于检测和缓解机器学习模型中受保护信息的代理使用问题——即在决策中使用强预测变量（代理）来间接反映敏感属性（如怀孕或健康状况）。通过白盒程序分析，该方法识别出代理使用的局部证据，并利用规范性判断引擎判断其是否不适当，随后通过修复算法消除此类使用，同时保持模型准确性，已在社会数据集上得到验证。

ABSTRACT

This paper presents an approach to formalizing and enforcing a class of use privacy properties in data-driven systems. In contrast to prior work, we focus on use restrictions on proxies (i.e. strong predictors) of protected information types. Our definition relates proxy use to intermediate computations that occur in a program, and identify two essential properties that characterize this behavior: 1) its result is strongly associated with the protected information type in question, and 2) it is likely to causally affect the final output of the program. For a specific instantiation of this definition, we present a program analysis technique that detects instances of proxy use in a model, and provides a witness that identifies which parts of the corresponding program exhibit the behavior. Recognizing that not all instances of proxy use of a protected information type are inappropriate, we make use of a normative judgment oracle that makes this inappropriateness determination for a given witness. Our repair algorithm uses the witness of an inappropriate proxy use to transform the model into one that provably does not exhibit proxy use, while avoiding changes that unduly affect classification accuracy. Using a corpus of social datasets, our evaluation shows that these algorithms are able to detect proxy use instances that would be difficult to find using existing techniques, and subsequently remove them while maintaining acceptable classification performance.

研究动机与目标

• 将数据驱动系统中的使用隐私形式化，超越对受保护信息的直接使用，重点关注能强烈预测敏感属性的代理。
• 通过白盒程序分析检测机器学习模型中的代理使用实例，将行为定位到特定代码段。
• 利用基于法律与伦理标准的规范性判断引擎，区分代理使用的适当性与不适当性。
• 开发一种修复算法，在保持模型效用与分类性能的前提下消除不适当的代理使用。
• 在真实世界的社会数据集上评估该方法，展示其对先前技术难以察觉的细微代理使用行为的检测能力。

提出的方法

• 本文将代理使用定义为与受保护属性强相关且对模型最终输出具有因果影响的计算。
• 提出一种白盒静态分析技术，遍历模型的计算图以检测此类代理使用，并生成标识相关程序组件的证据。
• 规范性判断引擎基于上下文因素与政策约束，评估检测到的代理使用在伦理或法律上是否不适当。
• 修复算法通过扰动与证据相关的权重或特征来修改模型，确保代理使用被消除，同时最小化准确率损失。
• 该方法使用定量隐私度量（ε, δ）指导修复过程并优先处理高风险违规行为，其机制类似于差分隐私参数。
• 评估在社会数据集语料库上进行，与基线方法对比检测与修复性能。

实验结果

研究问题

• RQ1 在数据驱动系统中，如何形式化代理使用受保护信息的定义，特别是在受保护属性未被直接使用，而是通过强预测变量推断的情况下？
• RQ2 哪些程序分析技术能够有效检测机器学习模型中的代理使用，并将问题定位到特定组件，同时生成证据？
• RQ3 规范性判断引擎如何判断检测到的代理使用在伦理或法律上是否不适当？
• RQ4 修复算法在不降低模型准确率或效用的前提下，能在多大程度上消除代理使用？
• RQ5 与现有技术相比，该方法在检测现实世界数据集中细微或间接代理使用方面表现如何？

主要发现

• 所提出的检测方法成功识别出使用传统黑盒或基于启发式方法难以察觉的机器学习模型中的代理使用实例。
• 证据生成能力可将代理使用精确定位到特定模型组件，支持精准修复与透明性。
• 修复算法在所有测试案例中将代理使用降至零，同时保持分类准确率在可接受范围内，证明了其实际可行性。
• 在社会数据集上的评估表明，该方法能通过间接信号（如搜索行为）检测到与怀孕状态、健康状况等敏感属性相关的代理使用。
• 规范性判断引擎支持上下文感知决策，能够区分伦理上可接受与不可接受的代理使用，从而支持符合隐私法规要求。
• 该框架支持在可信环境下对机器学习模型进行审计，使受监管领域（如医疗保健与金融）能够满足使用隐私约束。