[论文解读] Trade-offs and Guarantees of Adversarial Representation Learning for Information Obfuscation

Han Zhao, Jianfeng Chi+2 more|arXiv (Cornell University)|Jun 19, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 6

一句话总结

本文提出了一种对抗性表示学习的极小化极大优化框架，旨在同时最大化任务准确率并最小化敏感属性的信息泄露。该框架建立了最坏情况推理误差的信息论下界，证明了准确率与混淆之间的根本性权衡，并通过实证结果表明，对抗性学习在最先进方法中实现了最佳权衡。

ABSTRACT

Crowdsourced data used in machine learning services might carry sensitive information about attributes that users do not want to share. Various methods have been proposed to minimize the potential information leakage of sensitive attributes while maximizing the task accuracy. However, little is known about the theory behind these methods. In light of this gap, we develop a novel theoretical framework for attribute obfuscation. Under our framework, we propose a minimax optimization formulation to protect the given attribute and analyze its inference guarantees against worst-case adversaries. Meanwhile, it is clear that in general there is a tension between minimizing information leakage and maximizing task accuracy. To understand this, we prove an information-theoretic lower bound to precisely characterize the fundamental trade-off between accuracy and information leakage. We conduct experiments on two real-world datasets to corroborate the inference guarantees and validate this trade-off. Our results indicate that, among several alternatives, the adversarial learning approach achieves the best trade-off in terms of attribute obfuscation and accuracy maximization.

研究动机与目标

• 为机器学习中属性混淆方法缺乏理论理解提供解决方案。
• 形式化属性推理攻击，并将属性混淆定义为在最坏情况对手下的表示学习问题。
• 建立一个极小化极大优化公式，以平衡任务准确率与信息泄露保护。
• 推导出推理误差的信息论下界，以表征准确率与混淆之间的根本性权衡。
• 通过实证验证理论保证，并将对抗性学习与其它最先进混淆方法进行比较。

提出的方法

• 将属性混淆形式化为一个极小化极大优化问题，其中表示学习者与试图推断敏感属性的最坏情况对手进行对抗。
• 使用表示学习将原始数据映射到潜在空间，以在保留目标任务实用性的同时最小化与敏感属性的互信息。
• 引入一个理论框架，通过限制任何对手在恢复受保护属性时的最坏情况误差，提供形式化的推理保证。
• 证明了推理误差的信息论下界，量化了准确率与混淆之间的固有权衡。
• 设计并训练一个深度神经网络，采用对抗性训练以最小化对手在推断敏感属性时的成功率。
• 在两个真实世界数据集上使用多种基线方法验证该方法，包括基于对抗性学习、自编码器和变分推理的方法。

实验结果

研究问题

• RQ1 在表示学习中，属性混淆的准确率与信息泄露之间存在何种根本性权衡？
• RQ2 我们能否在对抗性学习下为属性混淆提供形式化的最坏情况推理保证？
• RQ3 对抗性表示学习在平衡准确率与混淆方面，相较于其他最先进方法表现如何？
• RQ4 在任意对手下，受保护属性的推理误差存在哪些理论边界？
• RQ5 所提出的极小化极大框架是否在真实世界场景中带来实际改进？

主要发现

• 所提出的极小化极大公式提供了形式化的最坏情况推理保证，确保任何对手在推断敏感属性时至少会遭受一定水平的误差。
• 推导出一个信息论下界，精确刻画了准确率与混淆之间的根本性权衡，表明完美混淆与高准确率无法同时实现。
• 在两个真实世界数据集上的实证结果证实了理论推理保证，并表明对抗性表示学习在准确率与属性混淆之间实现了最佳权衡。
• 在所评估的方法中，对抗性学习在最小化信息泄露的同时保持任务性能方面，始终优于自编码器和变分推理等替代方法。
• 该框架表明，仅移除敏感属性是不够的，因为数据中存在冗余相关性，从而验证了表示层面混淆的必要性。
• 结果表明，对抗性表示学习是隐私保护机器学习系统实际部署中的有前途方法。