[论文解读] New Nearly-Optimal Coreset for Kernel Density Estimation.

Wai Ming Tai|arXiv (Cornell University)|Jul 15, 2020

Mathematical Approximation and Integration参考文献 31被引用 1

一句话总结

本文提出了一种用于高斯核密度估计的新型共核集构造方法，利用不和谐理论与递归着色技术，在常数维度 $ d > 1 $ 下实现了接近最优的大小 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $，打破了 $ d=2 $ 时长期存在的 $ \sqrt{\log} $ 共核集大小障碍。

ABSTRACT

Given a point set $P\subset \mathbb{R}^d$, kernel density estimation for Gaussian kernel is defined as $\overline{\mathcal{G}}_P(x) = \frac{1}{\left|P ight|}\sum_{p\in P}e^{-\left\lVert x-p ight Vert^2}$ for any $x\in\mathbb{R}^d$. We study how to construct a small subset $Q$ of $P$ such that the kernel density estimation of $P$ can be approximated by the kernel density estimation of $Q$. This subset $Q$ is called \emph{coreset}. The primary technique in this work is to construct $\pm 1$ coloring on the point set $P$ by the discrepancy theory and apply this coloring algorithm recursively. Our result leverages Banaszczyk's Theorem. When $d>1$ is constant, our construction gives a coreset of size $O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}} ight)$ as opposed to the best-known result of $O\left(\frac{1}{\varepsilon}\sqrt{\log\frac{1}{\varepsilon}} ight)$. It is the first to give a breakthrough on the barrier of $\sqrt{\log}$ factor even when $d=2$.

研究动机与目标

• 为常数维度下的高斯核密度估计开发更小的共核集。
• 克服 $ d=2 $ 时长期存在的 $ \sqrt{\log \frac{1}{\varepsilon}} $ 共核集大小障碍。
• 应用不和谐理论与递归着色技术以获得更优的共核集大小界。
• 提供一种几乎最优的共核集构造方法，使其比以往工作更接近理论极限。

提出的方法

• 通过不和谐理论对点集 $ P \subset \mathbb{R}^d $ 进行 $ \pm 1 $ 着色，以平衡其对核密度估计的贡献。
• 应用巴纳什齐克定理控制着色的不和谐性，确保近似误差较低。
• 将着色递归应用于 $ P $ 的子集进行划分与细化，逐步构建共核集。
• 递归结构使得测度集中更加紧密，从而相比以往方法减小了共核集大小。
• 该构造确保共核集 $ Q $ 的核密度估计在 $ L^\infty $-范数下与 $ P $ 的估计相差不超过 $ \varepsilon $。
• 最终共核集大小由递归深度与不和谐界推导得出，对于常数 $ d $ 得到 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $。

实验结果

研究问题

• RQ1 在维度 $ d=2 $ 下，能否构造出大小低于 $ \sqrt{\log \frac{1}{\varepsilon}} $ 阈值的高斯核密度估计共核集？
• RQ2 在常数维度下，使用基于不和谐的方法可实现的最小共核集大小是多少？
• RQ3 如何利用递归着色与不和谐理论在现有界限之外改进共核集构造？
• RQ4 能否在 $ d>1 $ 下实现接近最优的共核集大小 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $？
• RQ5 巴纳什齐克定理能否在递归着色框架中有效应用以减小共核集大小？

主要发现

• 本文在常数维度 $ d>1 $ 下，实现了高斯核密度估计的共核集大小为 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $。
• 该结果优于以往最佳已知界 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\frac{1}{\varepsilon}}\right) $，在 $ d=2 $ 时打破了 $ \sqrt{\log} $ 障碍。
• 该构造是首个使用不和谐理论与递归着色技术实现此类边界的方案。
• 该方法确保了核密度估计在 $ L^\infty $-范数下的 $ \varepsilon $-近似。
• 应用巴纳什齐克定理实现了更紧密的不和谐控制，直接促成了共核集大小的改进。
• 该结果几乎最优，接近此设定下共核集大小的理论下界。