[论文解读] Preventing False Discovery in Interactive Data Analysis is Hard

Moritz Hardt, Jonathan Ullman|arXiv (Cornell University)|Aug 6, 2014

Privacy-Preserving Technologies in Data参考文献 3被引用 23

一句话总结

本文在标准密码学假设下证明，任何计算上高效的算法都无法在来自未知分布的 $ n $ 个样本上准确回答超过 $ n^{3+o(1)} $ 个自适应选择的统计查询。该结果确立了在交互式数据分析中防止虚假发现的根本性计算障碍，表明即使有效的统计回答在该阈值以上也变得不可行。

ABSTRACT

We show that, under a standard hardness assumption, there is no computationally efficient algorithm that given $n$ samples from an unknown distribution can give valid answers to $n^{3+o(1)}$ adaptively chosen statistical queries. A statistical query asks for the expectation of a predicate over the underlying distribution, and an answer to a statistical query is valid if it is "close" to the correct expectation over the distribution. Our result stands in stark contrast to the well known fact that exponentially many statistical queries can be answered validly and efficiently if the queries are chosen non-adaptively (no query may depend on the answers to previous queries). Moreover, a recent work by Dwork et al. shows how to accurately answer exponentially many adaptively chosen statistical queries via a computationally inefficient algorithm; and how to answer a quadratic number of adaptive queries via a computationally efficient algorithm. The latter result implies that our result is tight up to a linear factor in $n.$ Conceptually, our result demonstrates that achieving statistical validity alone can be a source of computational intractability in adaptive settings. For example, in the modern large collaborative research environment, data analysts typically choose a particular approach based on previous findings. False discovery occurs if a research finding is supported by the data but not by the underlying distribution. While the study of preventing false discovery in Statistics is decades old, to the best of our knowledge our result is the first to demonstrate a computational barrier. In particular, our result suggests that the perceived difficulty of preventing false discovery in today's collaborative research environment may be inherent.

研究动机与目标

• 研究在保持统计有效性的同时，回答自适应选择的统计查询的计算极限。
• 确定计算效率能否与交互式数据分析环境中的统计有效性共存。
• 建立可被准确且高效回答的自适应查询数量的紧致下界。
• 表明在协作研究中避免虚假发现的感知难度可能源于固有的计算不可解性。
• 形式化虚假发现预防与密码学硬度假设之间的联系。

提出的方法

• 使用统计查询（SQ）模型来形式化自适应数据分析，其中查询依赖于先前的回答。
• 采用指纹码来构建一种检测准确查询响应偏离的攻击方法。
• 依赖于计算硬度假设——特别是单向函数的存在性——以证明下界。
• 设计一种隐私保护型攻击，模拟自适应分析师，并测试预言机是否能准确回答查询。
• 分析指纹码的恢复与攻击阶段，以界定成功推断的概率。
• 应用信息论和计算不可区分性论证，将查询准确性与隐私违规联系起来。

实验结果

研究问题

• RQ1 在计算上高效的预言机是否能够以高精度回答超过 $ n^{3+o(1)} $ 个自适应选择的统计查询？
• RQ2 在交互式数据分析中，是否存在防止虚假发现的根本性计算障碍？
• RQ3 查询选择的自适应性如何影响保持统计有效性的可行性？
• RQ4 能否利用密码学假设来证明在自适应设置下可被准确回答的查询数量的下界？
• RQ5 统计有效性与自适应数据分析中的隐私之间存在何种关系？

主要发现

• 在单向函数存在的假设下，任何计算上高效的预言机都无法以高精度回答 $ n^{3+o(1)} $ 个自适应选择的统计查询。
• 该结果表明，此前已知的高效算法的二次上界在 $ n $ 的线性因子内是紧致的，因为只有计算上低效的预言机才能实现指数级查询回答。
• 本文确立了防止虚假发现的计算障碍，表明现代协作研究中的困难可能是本质性的，而非方法论上的。
• 基于指纹码的隐私攻击能够以高概率成功识别出不准确的预言机，从而将统计有效性与隐私违规联系起来。
• 信息论下界确认，即使预言机无计算限制，也无法在不明显违反隐私的前提下回答 $ n^{3+o(1)} $ 个自适应查询。
• 分析证明，若预言机是准确的，则未在攻击阶段使用的样本集合在高概率下仍保持较大，意味着预言机必然在泄露信息。