[论文解读] Unified Sample-Optimal Property Estimation in Near-Linear Time

Hao Yi, Alon Orlitsky|arXiv (Cornell University)|Nov 8, 2019

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种统一的分段多项式逼近技术，首次实现了对一大类对称与非对称加法分布属性的样本高效与时间高效的估计器。该方法实现了渐近最优的样本复杂度和近线性计算时间，为五个关键属性提供了最优偏差与近最优方差的估计器，同时在不同域大小与置信水平下实现了统一的差分隐私与近最优估计器。

ABSTRACT

We consider the fundamental learning problem of estimating properties of distributions over large domains. Using a novel piecewise-polynomial approximation technique, we derive the first unified methodology for constructing sample- and time-efficient estimators for all sufficiently smooth, symmetric and non-symmetric, additive properties. This technique yields near-linear-time computable estimators whose approximation values are asymptotically optimal and highly-concentrated, resulting in the first: 1) estimators achieving the $\mathcal{O}(k/(\varepsilon^2\log k))$ min-max $\varepsilon$-error sample complexity for all $k$-symbol Lipschitz properties; 2) unified near-optimal differentially private estimators for a variety of properties; 3) unified estimator achieving optimal bias and near-optimal variance for five important properties; 4) near-optimal sample-complexity estimators for several important symmetric properties over both domain sizes and confidence levels. In addition, we establish a McDiarmid's inequality under Poisson sampling, which is of independent interest.

研究动机与目标

• 开发一种统一的、样本与时间高效的计算方法，用于估计大域上一大类加法分布属性。
• 对所有 $k$-符号利普希茨属性实现渐近最优的样本复杂度，误差为 $\mathcal{O}(k/(varepsilon^{2}\log k))$。
• 统一多种属性的差分隐私估计器，实现最优样本复杂度。
• 为五个重要属性（包括香农熵与支持集大小）构建具有最优偏差与近最优方差的估计器。
• 为不同域大小与置信水平下的对称属性建立近最优样本复杂度。

提出的方法

• 采用一种新颖的分段多项式逼近技术来建模与估计加法分布属性，从而实现样本与时间效率。
• 该方法利用泊松抽样下麦克迪阿米尔不等式的新变体，确保估计器输出的高斯集中性。
• 通过使用匹配函数光滑性与利普希茨行为的分段多项式逼近属性函数来构建估计器。
• 通过针对每个 $p_i$-相关分量进行局部多项式拟合，统一处理对称与非对称加法属性。
• 通过聚合频率计数并对接收频率应用分段多项式逼近，以近线性时间计算最终估计器。
• 通过在应用多项式逼近前向频率计数添加校准噪声，实现差分隐私，同时保持准确性。

实验结果

研究问题

• RQ1 是否可以设计一种单一统一的方法，对所有足够光滑的对称与非对称加法分布属性实现样本最优性？
• RQ2 在置信度为 $2/3$ 且误差为 $\varepsilon$ 的条件下，估计任意 $k$-符号利普希茨属性所需的最小样本复杂度是多少？
• RQ3 是否可以将多种属性的差分隐私估计器统一，同时实现最优样本复杂度？
• RQ4 在香农熵与支持集大小等关键分布中，属性估计的偏差与方差之间最优权衡是什么？
• RQ5 对称属性的样本复杂度如何随域大小 $k$ 与置信水平 $1-\delta$ 变化？

主要发现

• 本文首次建立了所有 $k$-符号利普希茨属性的 $\mathcal{O}(k/(varepsilon^{2}\log k))$ 最小最大 $\varepsilon$-误差样本复杂度，达到渐近最优。
• 构建了一个统一的差分隐私估计器，样本复杂度为 $\mathcal{O}(k/(varepsilon^{2}\log k))$，与非私有情况下的最优边界一致。
• 对于五个关键属性——香农熵、支持集大小、支持集覆盖度、幂和以及与均匀分布的距离——该方法实现了最优偏差与近最优方差。
• 该方法在不同域大小与置信水平下对对称属性实现了近最优样本复杂度，其界与已知下界仅相差对数因子。
• 建立了一种泊松抽样下的新麦克迪阿米尔不等式，该结果本身具有独立兴趣，并支持估计器的集中性分析。
• 所提出的估计器可在近线性时间内计算，使其在机器学习与数据分析的大规模应用中具有实用性。