[论文解读] Properly Learning Poisson Binomial Distributions in Almost Polynomial Time

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Nov 12, 2015

Machine Learning and Algorithms参考文献 54被引用 7

一句话总结

本文提出了一种近乎样本最优的算法，可在几乎多项式时间内正确学习泊松二项分布，实现总变差距离下的误差保证 $\epsilon$。通过引入一种新颖的结构表征，表明任意 PBD 都与仅具有 $O(\log(1/\epsilon))$ 个不同参数的 PBD $\epsilon$-接近，作者将学习问题简化为求解少量低次多项式系统，从而实现运行时间 $ (1/\epsilon)^{O(\log\log(1/\epsilon))} $，相比先前方法有显著改进。

ABSTRACT

We give an algorithm for properly learning Poisson binomial distributions. A Poisson binomial distribution (PBD) of order $n$ is the discrete probability distribution of the sum of $n$ mutually independent Bernoulli random variables. Given $\widetilde{O}(1/ε^2)$ samples from an unknown PBD $\mathbf{p}$, our algorithm runs in time $(1/ε)^{O(\log \log (1/ε))}$, and outputs a hypothesis PBD that is $ε$-close to $\mathbf{p}$ in total variation distance. The previously best known running time for properly learning PBDs was $(1/ε)^{O(\log(1/ε))}$. As one of our main contributions, we provide a novel structural characterization of PBDs. We prove that, for all $ε>0,$ there exists an explicit collection $\cal{M}$ of $(1/ε)^{O(\log \log (1/ε))}$ vectors of multiplicities, such that for any PBD $\mathbf{p}$ there exists a PBD $\mathbf{q}$ with $O(\log(1/ε))$ distinct parameters whose multiplicities are given by some element of ${\cal M}$, such that $\mathbf{q}$ is $ε$-close to $\mathbf{p}$. Our proof combines tools from Fourier analysis and algebraic geometry. Our approach to the proper learning problem is as follows: Starting with an accurate non-proper hypothesis, we fit a PBD to this hypothesis. More specifically, we essentially start with the hypothesis computed by the computationally efficient non-proper learning algorithm in our recent work~\cite{DKS15}. Our aforementioned structural characterization allows us to reduce the corresponding fitting problem to a collection of $(1/ε)^{O(\log \log(1/ε))}$ systems of low-degree polynomial inequalities. We show that each such system can be solved in time $(1/ε)^{O(\log \log(1/ε))}$, which yields the overall running time of our algorithm.

研究动机与目标

• 设计一种计算高效的泊松二项分布（PBD）正确学习算法，其中假设必须属于 PBD 家族。
• 克服先前方法的计算瓶颈，这些方法依赖于 $\epsilon$-覆盖的枚举，所需时间为 $ (1/\epsilon)^{O(\log(1/\epsilon))} $。
• 建立 PBD 的新结构表征，表明任意 PBD 都与仅含 $O(\log(1/\epsilon))$ 个不同参数的 PBD $\epsilon$-接近。
• 将正确学习问题简化为求解少量低次多项式不等式系统，从而实现更快的计算。
• 证明样本复杂度近乎最优，与已知下界相比仅差对数因子。

提出的方法

• 提出一种新颖的结构表征：任意 PBD 都与一个具有 $O(\log(1/\epsilon))$ 个不同参数的 PBD $\epsilon$-接近，且这些参数的重数属于一个大小为 $ (1/\epsilon)^{O(\log\log(1/\epsilon))} $ 的显式集合 $\mathcal{M}$。
• 使用 [DKS15b] 中计算高效的非正确学习算法，通过 $O(1/\epsilon^2)$ 个样本获得初始假设。
• 将正确学习问题简化为通过求解基于矩匹配约束的低次多项式不等式系统，来拟合一个与该非正确假设 $\epsilon$-接近的 PBD。
• 对于每个候选重数向量 $m \in \mathcal{M}$，构建一个多项式不等式系统 $\mathcal{P}_m$，编码条件：具有匹配 $m$ 参数的 PBD 与目标分布 $\epsilon$-接近。
• 对每个 $\mathcal{P}_m$ 应用多项式系统求解器（定理 10），精度为 $\epsilon/(2k)$，其中 $k$ 为非零重数之和。
• 返回第一个找到的有效 PBD 解，其保证与真实分布的总变差距离为 $\epsilon$。

实验结果

研究问题

• RQ1 我们能否设计一种正确学习算法，其运行时间显著低于 $ (1/\epsilon)^{O(\log(1/\epsilon))} $，即目前已知的最佳界？
• RQ2 是否存在一种 PBD 的结构表征，使得通过将参数数量减少到 $O(\log(1/\epsilon))$，可实现超多项式加速？
• RQ3 能否通过代数几何与多项式优化避免已知计算上不可行的 $\epsilon$-覆盖枚举方法？
• RQ4 新的结构洞察能否支持一种具有近乎最优样本复杂度与亚指数运行时间的正确学习算法？
• RQ5 该方法能否推广到其他离散分布族，如独立整数值随机变量之和或泊松多项式分布？

主要发现

• 该算法实现了 $ (1/\epsilon)^{O(\log\log(1/\epsilon))} $ 的运行时间，相比先前最佳界 $ (1/\epsilon)^{O(\log(1/\epsilon))} $，实现了超多项式加速。
• 样本复杂度为 $ \widetilde{O}(1/\epsilon^2) $，已知为近乎最优，与下界相比仅差对数因子。
• 作者建立了新的结构表征：每个 PBD 都与仅含 $ O(\log(1/\epsilon)) $ 个不同参数的 PBD $\epsilon$-接近，且这些参数的重数取自大小为 $ (1/\epsilon)^{O(\log\log(1/\epsilon))} $ 的集合。
• 通过证明存在某个 $ m \in \mathcal{M} $，使得对应的系统 $ \mathcal{P}_m $ 有解，从而保证了算法的正确性，该解可生成一个 $\epsilon$-接近的 PBD。
• 该算法输出一个正确的假设（即一个 PBD），以高概率在总变差距离下与真实分布 $\epsilon$-接近。
• 该方法利用傅里叶分析与代数几何工具推导出结构结果，并高效求解相应的多项式系统。