[论文解读] Smoothed Analysis of Online and Differentially Private Learning

Nika Haghtalab, Tim Roughgarden+1 more|arXiv (Cornell University)|Jun 17, 2020

Machine Learning and Algorithms参考文献 27被引用 5

一句话总结

本文提出了一种用于在线学习与差分隐私学习的平滑分析框架，表明在输入受到轻微扰动（σ-平滑）时，遗憾与隐私误差界仅依赖于VC维数和 bracketing 数，而不依赖于无限的 Littlestone 维数。该框架在现实的半随机数据模型中实现了近乎最优的保证，克服了线性阈值等类别在最坏情况下的不可能性结果。

ABSTRACT

Practical and pervasive needs for robustness and privacy in algorithms have inspired the design of online adversarial and differentially private learning algorithms. The primary quantity that characterizes learnability in these settings is the Littlestone dimension of the class of hypotheses [Ben-David et al., 2009, Alon et al., 2019]. This characterization is often interpreted as an impossibility result because classes such as linear thresholds and neural networks have infinite Littlestone dimension. In this paper, we apply the framework of smoothed analysis [Spielman and Teng, 2004], in which adversarially chosen inputs are perturbed slightly by nature. We show that fundamentally stronger regret and error guarantees are possible with smoothed adversaries than with worst-case adversaries. In particular, we obtain regret and privacy error bounds that depend only on the VC dimension and the bracketing number of a hypothesis class, and on the magnitudes of the perturbations.

研究动机与目标

• 为解决在线学习与差分隐私学习中的根本性限制，即要求有限的 Littlestone 维数，但实际假设类常常违反此条件。
• 表明在线学习与隐私学习中已知的最坏情况不可能性结果（如线性阈值的无限遗憾）在现实数据扰动下是脆弱的。
• 设计在平滑对手模型下具有强遗憾与隐私误差保证的算法，其中输入由自然因素施加扰动。
• 证明在该半随机模型中，性能由VC维数与 bracketing 数决定，而非 Littlestone 维数。
• 为在最坏情况分析之外的实际场景中实现鲁棒且私密的学习，提供严谨的理论基础。

提出的方法

• 引入σ-平滑对手模型，其中输入来自密度有界于1/σ倍均匀分布的分布，反映测量噪声或不确定性。
• 应用拒绝采样技术，利用均匀抽样与与密度成比例的接受概率，从目标σ-平滑分布中生成样本。
• 采用指数机制并结合子采样网络，对离散化假设空间上的查询误差进行私密估计，确保差分隐私。
• 利用浓度不等式与Chernoff型不等式，控制所需样本数量及对真实分布近似中的误差。
• 利用σ-平滑分布对小区间质量有限的特性，实现仅需O(1/σ)个假设的离散化，从而实现高效学习。
• 将子采样带来的分布近似与差分隐私保证相结合，以控制查询响应中的误差。

实验结果

研究问题

• RQ1 当对手输入被自然因素轻微扰动时，能否实现在线与差分隐私学习的强保证？
• RQ2 在线与私密学习中已知的最坏情况不可能性结果在平滑分析下是否仍然成立？
• RQ3 在平滑在线与私密学习中，VC维数与 bracketing 数能否取代 Littlestone 维数作为关键复杂度度量？
• RQ4 遗憾与隐私误差对扰动尺度σ与假设类复杂度的依赖关系如何？
• RQ5 能否设计出在平滑对手下实现近乎最优性能的高效算法，即使 Littlestone 维数为无穷？

主要发现

• 对于在线学习，遗憾界依赖于VC维数与扰动大小σ，而非因无限 Littlestone 维数导致的无限遗憾。
• 在差分隐私学习中，误差界为O(√[3]{(d log(1/σ) + log(1/η))/ϵn})，其中d为VC维数，σ为平滑参数，η为失败概率。
• 子采样网络机制实现了仅依赖于VC维数与扰动尺度的高概率误差界，而不依赖于假设类的 Littlestone 维数。
• 实现准确近似的样本数量为O((log(1/η) + d)/(σγ²))，表明在平滑性条件下具有高效性。
• 该框架使得在现实数据扰动下，能够对 Littlestone 维数为无穷的假设类（如线性阈值）实现私密学习。
• 结果表明，最坏情况下的下界是脆弱的：当自然因素对对手输入施加扰动时，仍可实现强保证。