[论文解读] Rademacher Observations, Private Data, and Boosting

Richard Nock, Giorgio Patrini+1 more|arXiv (Cornell University)|Feb 9, 2015

Privacy-Preserving Technologies in Data参考文献 18被引用 3

一句话总结

本文提出Rademacher观测（rados），一种经过变换的数据表示方式，使线性分类器和核化分类器能够实现等价的逻辑损失最小化。通过从原始样本中学习一个小型rados子集，所提出的RadoBoost算法实现了符合提升（boosting）的收敛速率和具有竞争力的准确率，同时通过差分隐私实现了强大的隐私保障，即使在高噪声水平下也依然有效。

ABSTRACT

The minimization of the logistic loss is a popular approach to batch supervised learning. Our paper starts from the surprising observation that, when fitting linear (or kernelized) classifiers, the minimization of the logistic loss is extit{equivalent} to the minimization of an exponential extit{rado}-loss computed (i) over transformed data that we call Rademacher observations (rados), and (ii) over the extit{same} classifier as the one of the logistic loss. Thus, a classifier learnt from rados can be extit{directly} used to classify extit{observations}. We provide a learning algorithm over rados with boosting-compliant convergence rates on the extit{logistic loss} (computed over examples). Experiments on domains with up to millions of examples, backed up by theoretical arguments, display that learning over a small set of random rados can challenge the state of the art that learns over the extit{complete} set of examples. We show that rados comply with various privacy requirements that make them good candidates for machine learning in a privacy framework. We give several algebraic, geometric and computational hardness results on reconstructing examples from rados. We also show how it is possible to craft, and efficiently learn from, rados in a differential privacy framework. Tests reveal that learning from differentially private rados can compete with learning from random rados, and hence with batch learning from examples, achieving non-trivial privacy vs accuracy tradeoffs.

研究动机与目标

• 探究经过变换的数据表示是否可以在保持准确率的前提下替代监督学习中的原始训练样本。
• 探索从Rademacher观测（rados）而非原始样本中学习的可行性，特别是针对线性分类器和核化分类器。
• 开发一种学习框架，通过基于rados的数据转换实现超越差分隐私的强隐私保障。
• 证明从rados的小型、精心挑选的子集进行学习，可以达到或超越从原始样本进行全批量学习的性能。
• 评估在差分隐私保护下，rados-based学习的鲁棒性，特别是当原始数据使用高斯机制等机制进行保护时。

提出的方法

• 将Rademacher观测（rados）定义为训练样本中边向量（观测 × 标签）的总和，形成一种变换后的数据表示。
• 证明在原始样本上最小化逻辑损失，数学上等价于使用相同分类器在rados上最小化指数损失。
• 设计一种基于提升的机器学习算法RadoBoost，通过在rados上迭代选择弱学习器，以最小化原始数据上的逻辑损失。
• 提出一种生成具有固定支持（稀疏rados）的rados的机制，以降低计算成本并改善隐私特性。
• 利用高斯机制构建差分隐私的rados分发机制，确保原始数据中敏感特征的隐私性。
• 实现一种审慎的弱学习器，基于rados向量与特征的中位绝对相关性进行特征选择，从而在噪声环境下提升稳定性和性能。

实验结果

研究问题

• RQ1 从Rademacher观测（rados）中学习，是否能在逻辑损失最小化方面实现与从原始样本中学习相当或更优的性能？
• RQ2 rados的小型代表性子集在多大程度上可以替代完整rados集来训练高准确率分类器？
• RQ3 rados在差分隐私以及代数、几何和计算复杂性视角下，如何促进隐私保护？
• RQ4 当rados在强差分隐私约束下生成时，rados-based学习是否仍能保持符合提升的收敛速率？
• RQ5 当rados通过高斯机制添加噪声时，隐私（噪声水平）与准确率之间的权衡如何？

主要发现

• 在固定支持的rados（例如总rados的25%）上训练的RadoBoost，其测试误差与在原始数据上训练的AdaBoost相当，即使在高噪声水平下也表现良好。
• 实验表明，具有固定支持的rados与审慎弱学习器的组合，优于使用强弱学习器的随机rados，尤其在差分隐私场景下表现更优。
• 使用高斯机制（σ = 1.0）对rados进行差分隐私处理后，测试误差在多个数据集上仅比非私有基线高出1.5%以内。
• 从rados重构原始样本在计算上是困难的，理论结果表明在特定条件下为NP难问题。
• 在强差分隐私（例如ε ≈ 0.5）下，rados-based学习仍能保持与无噪声设置相当的收敛速率，表现出良好的鲁棒性。
• rados的代数与几何结构可防止原始数据的精确重构，从而提供超越差分隐私的隐私保护。