[论文解读] Preserving Statistical Validity in Adaptive Data Analysis

Cynthia Dwork, Vitaly Feldman+4 more|arXiv (Cornell University)|Nov 10, 2014

Privacy-Preserving Technologies in Data参考文献 28被引用 16

一句话总结

本文提出了一种新颖的框架，通过利用差分隐私技术，在自适应数据分析中保持统计有效性，从而实现对指数级数量自适应选择查询的期望值准确估计。该框架通过使用协调一致的扰动估计机制，防止对重复使用数据的过拟合，确保即使在自适应查询工作负载下，误差界依然成立。

ABSTRACT

A great deal of effort has been devoted to reducing the risk of spurious scientific discoveries, from the use of sophisticated validation techniques, to deep statistical methods for controlling the false discovery rate in multiple hypothesis testing. However, there is a fundamental disconnect between the theoretical results and the practice of data analysis: the theory of statistical inference assumes a fixed collection of hypotheses to be tested, or learning algorithms to be applied, selected non-adaptively before the data are gathered, whereas in practice data is shared and reused with hypotheses and new analyses being generated on the basis of data exploration and the outcomes of previous analyses. In this work we initiate a principled study of how to guarantee the validity of statistical inference in adaptive data analysis. As an instance of this problem, we propose and investigate the question of estimating the expectations of $m$ adaptively chosen functions on an unknown distribution given $n$ random samples. We show that, surprisingly, there is a way to estimate an exponential in $n$ number of expectations accurately even if the functions are chosen adaptively. This gives an exponential improvement over standard empirical estimators that are limited to a linear number of estimates. Our result follows from a general technique that counter-intuitively involves actively perturbing and coordinating the estimates, using techniques developed for privacy preservation. We give additional applications of this technique to our question.

研究动机与目标

• 解决理论统计推断（固定假设）与现实世界自适应数据分析（基于先前结果生成假设）之间的根本性脱节。
• 开发一种方法，确保在多个自适应选择的查询中重复使用同一数据集时，统计有效性得以维持。
• 克服标准经验估计器的局限性，这些估计器在自适应重复使用下会因过拟合和缺乏误差控制而失效。
• 提供一种通用技术，确保即使查询是基于先前结果自适应选择的，也能对大量查询的期望值进行准确估计。
• 证明差分隐私技术不仅可以用于隐私保护，还可重新用于自适应环境下的统计有效性保障。

提出的方法

• 该方法使用一组独立的估计样本 $ S_1, \dots, S_r $ 和一个独立的保留样本 $ S_h $ 来验证答案。
• 它采用一种称为 SPARSE 的差分隐私算法，用于检测估计样本是否因查询序列而出现过拟合。
• 对于每个查询，算法首先在当前估计样本 $ S_c $ 上计算初始估计值，然后使用 SPARSE 检查其与保留样本 $ S_h $ 的一致性。
• 如果 SPARSE 返回 $ \bot $，则接受 $ S_c $ 的估计值作为有效结果；否则，算法切换到下一个估计样本 $ S_{c+1} $。
• 当检测到不一致时，算法会动态地丢弃并替换估计样本，确保仅返回具有统计有效性的估计值。
• 通过差分隐私的组合定理推导出理论保证，确保误差界以高概率成立。

实验结果

研究问题

• RQ1 当同一数据集被用于回答一系列自适应选择的查询时，能否保持统计有效性？
• RQ2 在自适应数据分析中，能否对指数级数量的查询准确估计期望值？
• RQ3 差分隐私技术能否被重新用于确保统计有效性，而不仅限于隐私保护？
• RQ4 如何在保持自适应查询工作负载下高准确性的前提下，防止对重复使用数据的过拟合？
• RQ5 为确保在 $ m $ 个自适应选择的查询和 $ r $ 轮自适应性下统计有效性，所需的最小样本量是多少？

主要发现

• 该算法可仅使用 $ O\left(\frac{r \ln(1/\beta)}{\tau^2}\right) $ 个样本，准确估计在未知分布上自适应选择的 $ m $ 个函数的期望值，且样本量与 $ m $ 无关。
• 与标准经验估计器相比，该方法实现了指数级改进，后者在出现过拟合前仅能处理线性数量的查询。
• 只要样本量满足 $ n \geq C \cdot n_{SV}(\tau, \beta) $（$ C $ 为足够大的常数），则对所有查询，误差超过 $ \tau $ 的概率至多为 $ \beta $。
• 该框架通过检测并丢弃过拟合的估计样本，成功防止了对保留集的过拟合，即使查询是自适应选择的。
• 使用阈值 $ T = \tau/4 $ 和 $ \epsilon = \tau/16 $ 的 SPARSE 算法，确保算法能适应实际的自适应水平，而不仅依赖最坏情况的边界。
• 该算法以至少 $ 1 - m\beta $ 的概率完成运行，且自适应轮数 $ r $ 是决定样本复杂度的关键参数。