[论文解读] Near-Optimal Density Estimation in Near-Linear Time Using Variable-Width Histograms

Siu-On Chan, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Nov 1, 2014

Machine Learning and Algorithms参考文献 26被引用 16

一句话总结

该论文提出了一种近似最优、近乎线性时间的密度估计算法，采用可变宽度直方图，总变差距离不超过 $ C \cdot \mathrm{opt}_k(p) + \varepsilon $，使用 $ \tilde{O}(k/\varepsilon^2) $ 个样本和运行时间，其中 $ C $ 为通用常数，$ \mathrm{opt}_k(p) $ 是对 $ k $ 段分段常数分布的最佳逼近。

ABSTRACT

Let $p$ be an unknown and arbitrary probability distribution over $[0,1)$. We consider the problem of {\em density estimation}, in which a learning algorithm is given i.i.d. draws from $p$ and must (with high probability) output a hypothesis distribution that is close to $p$. The main contribution of this paper is a highly efficient density estimation algorithm for learning using a variable-width histogram, i.e., a hypothesis distribution with a piecewise constant probability density function. In more detail, for any $k$ and $ε$, we give an algorithm that makes $ ilde{O}(k/ε^2)$ draws from $p$, runs in $ ilde{O}(k/ε^2)$ time, and outputs a hypothesis distribution $h$ that is piecewise constant with $O(k \log^2(1/ε))$ pieces. With high probability the hypothesis $h$ satisfies $d_{\mathrm{TV}}(p,h) \leq C \cdot \mathrm{opt}_k(p) + ε$, where $d_{\mathrm{TV}}$ denotes the total variation distance (statistical distance), $C$ is a universal constant, and $\mathrm{opt}_k(p)$ is the smallest total variation distance between $p$ and any $k$-piecewise constant distribution. The sample size and running time of our algorithm are optimal up to logarithmic factors. The "approximation factor" $C$ in our result is inherent in the problem, as we prove that no algorithm with sample size bounded in terms of $k$ and $ε$ can achieve $C<2$ regardless of what kind of hypothesis distribution it uses.

研究动机与目标

• 开发一种计算高效的密度估计算法，实现近似最优的样本复杂度和运行时间。
• 解决在独立同分布样本下学习 $[0,1)$ 上未知概率分布的挑战，特别是当真实分布可被 $ k $-直方图良好逼近时。
• 设计一种方法，即使目标分布并非精确的 $ k $-直方图，也能输出与目标在总变差距离上接近的假设分布。
• 建立对逼近因子 $ C $ 的紧致理论界，证明对于样本大小受 $ k $ 和 $ \varepsilon $ 限制的任何算法，$ C < 2 $ 都不可能成立。

提出的方法

• 使用可变宽度直方图作为假设类，允许非均匀分箱以更好地捕捉分布结构。
• 采用一种新颖的自适应采样与分箱策略，根据经验分布估计动态细化区间。
• 应用递归划分技术，平衡误差与复杂度，确保最终直方图包含 $ O(k \log^2(1/\varepsilon)) $ 个分段。
• 使用统计距离最小化框架，选择能最小化与经验分布总变差距离的分箱。
• 结合浓度不等式和尾部不等式，确保逼近质量的高概率保证。
• 利用基于生日悖论型界限的区分论证，证明样本大小下界，表明样本复杂度的最优性。

实验结果

研究问题

• RQ1 我们能否在使用可变宽度直方图时，实现近似最优的样本复杂度和近乎线性的运行时间？
• RQ2 对于任何样本大小受 $ k $ 和 $ \varepsilon $ 限制的算法，学习 $ k $-直方图时的最佳逼近因子 $ C $ 是多少？
• RQ3 能否设计一种算法，实现 $ \tilde{O}(k/\varepsilon^2) $ 的样本和运行时间复杂度，同时保持常数逼近因子？
• RQ4 在逼近质量和计算效率方面，可变宽度直方图与固定宽度直方图相比表现如何？
• RQ5 我们能否证明，对于任意假设类，任何算法都无法在广义 $ k $-直方图学习中实现逼近因子 $ C < 2 $？

主要发现

• 所提算法实现的总变差距离满足 $ d_{\mathrm{TV}}(p,h) \leq C \cdot \mathrm{opt}_k(p) + \varepsilon $，其中 $ C $ 为通用常数，$ \mathrm{opt}_k(p) $ 是最佳 $ k $-分段常数逼近。
• 该算法使用 $ \tilde{O}(k/\varepsilon^2) $ 个样本，并在 $ \tilde{O}(k/\varepsilon^2) $ 时间内运行，两者均在对数因子内最优。
• 假设 $ h $ 是一个具有 $ O(k \log^2(1/\varepsilon)) $ 个分段的分段常数分布，能够对复杂密度实现细粒度适应。
• 逼近因子 $ C $ 是固有的，无法进一步降低至 2 以下，该结论通过基于 $ \sqrt{N} $-样本下界的区分论证得到证明。
• 样本和运行时间复杂度在对数因子内最优，且该算法匹配广义 $ k $-直方图学习的信息论下界。
• 该结果在密度估计中建立了计算效率与统计精度之间的紧密联系，表明在两个维度上均可实现近似最优。