[论文解读] Statistical Queries and Statistical Algorithms: Foundations and Applications

Lev Reyzin|arXiv (Cornell University)|Apr 1, 2020

Machine Learning and Algorithms参考文献 50被引用 7

一句话总结

本综述建立了统计查询（SQ）的理论基础及其在机器学习、优化、差分隐私和可演化性中的应用。它表明，SQ 提供了一个统一的框架，用于理解可学习性、抗噪声能力和自适应数据分析，关键结果表明，使用次线性样本复杂度，可以以多项式时间回答自适应选择的查询。

ABSTRACT

We give a survey of the foundations of statistical queries and their many applications to other areas. We introduce the model, give the main definitions, and we explore the fundamental theory statistical queries and how how it connects to various notions of learnability. We also give a detailed summary of some of the applications of statistical queries to other areas, including to optimization, to evolvability, and to differential privacy.

研究动机与目标

• 将统计查询模型形式化为抗噪声学习和算法设计的基础框架。
• 将统计查询学习与计算学习理论中的更广泛概念（包括PAC学习、分类噪声和可演化性）联系起来。
• 探索并综合SQ在差分隐私、自适应数据分析、分布式计算和通信复杂性中的应用。
• 识别SQ理论中的开放问题与研究方向，特别是关于样本复杂度和算法限制的问题。
• 为研究人员提供SQ的全面导论，强调其在多个领域中的理论深度与实际相关性。

提出的方法

• 将统计查询（SQ）模型引入为PAC学习框架的限制形式，其中学习者通过查询预言机获取查询函数在分布上的近似期望值。
• 将统计查询定义为一对（q, τ），其中q为查询函数，τ为容差，预言机返回在真实期望值附近的区间内结果。
• 正式定义高效SQ学习，要求时间、查询次数和容差倒数在准确度和问题规模上为多项式时间。
• 证明SQ学习蕴含PAC可学习性，并展示其与分类噪声模型及标签污染下鲁棒学习的联系。
• 通过私有乘法权重机制将SQ理论应用于差分隐私，实现(α, β)-精度，对k个自适应查询使用Õ(√k log³/²(1/β)/α²)个样本。
• 利用SQ维数和转移定理分析通信复杂性，并证明电路类之间的分离，例如在特定SQ维数界下，IP ∈ PSPACE^cc \ {PH}^cc。

实验结果

研究问题

• RQ1 统计查询如何为理解机器学习中的可学习性与抗噪声能力提供统一框架？
• RQ2 统计查询学习与PAC学习、分类噪声和可演化性等其他模型之间存在何种关系？
• RQ3 统计查询能否用于设计高效差分隐私算法以应对自适应数据分析？
• RQ4 在自适应查询回答方面，统计查询算法的样本复杂度理论极限是什么？
• RQ5 统计查询如何与通信复杂性和电路下界等基础复杂性理论问题相关联？

主要发现

• 任何可高效SQ学习的类也是可高效PAC学习的，确立了SQ是PAC学习的严格限制。
• 统计查询维数刻画了SQ框架中学习的复杂性，并可实现通信复杂性中的分离，例如在特定SQ维数界下，IP ∈ PSPACE^cc \ {PH}^cc。
• 对于自适应查询回答，多项式时间机制可实现(α, β)-精度，样本数为Õ(√k log³/²(1/β)/α²)，与目前已知最佳上界仅相差对数因子。
• SQ框架可通过将算法表达为“求和形式”实现算法的自动并行化，实际中可获得近线性加速。
• 从数据流中进行统计查询学习是可行的，仅需poly(m, log|C|)个样本和O(log|C| log m)的内存，其中m为查询数量。
• SQ维数的下界可解释如植 clique 问题等难题的困难性，表明高SQ维数可能是高效算法的障碍。