[论文解读] Uniform Convergence Rate of the Kernel Density Estimator Adaptive to Intrinsic Volume Dimension

Jisu Kim, Jaehyeok Shin+2 more|arXiv (Cornell University)|Oct 13, 2018

Topological and Geometric Data Analysis参考文献 33被引用 13

一句话总结

本文引入了体积维数——一种基于小球内概率质量衰减速率的内在维数新度量——以推导核密度估计器（KDEs）在带宽选择下的统一收敛界。该研究建立了适应数据内在几何结构的有限样本集中不等式，在有界密度或光滑流形情况下恢复已知收敛速率，同时扩展至无界密度和混合维数支撑的情形。

ABSTRACT

We derive concentration inequalities for the supremum norm of the difference between a kernel density estimator (KDE) and its point-wise expectation that hold uniformly over the selection of the bandwidth and under weaker conditions on the kernel and the data generating distribution than previously used in the literature. We first propose a novel concept, called the volume dimension, to measure the intrinsic dimension of the support of a probability distribution based on the rates of decay of the probability of vanishing Euclidean balls. Our bounds depend on the volume dimension and generalize the existing bounds derived in the literature. In particular, when the data-generating distribution has a bounded Lebesgue density or is supported on a sufficiently well-behaved lower-dimensional manifold, our bound recovers the same convergence rate depending on the intrinsic dimension of the support as ones known in the literature. At the same time, our results apply to more general cases, such as the ones of distribution with unbounded densities or supported on a mixture of manifolds with different dimensions. Analogous bounds are derived for the derivative of the KDE, of any order. Our results are generally applicable but are especially useful for problems in geometric inference and topological data analysis, including level set estimation, density-based clustering, modal clustering and mode hunting, ridge estimation and persistent homology.

研究动机与目标

• 解决现有KDE统一收敛界缺乏对数据生成分布内在维数自适应的问题。
• 提出一种新的内在维数度量——体积维数，用于刻画收缩欧氏球内概率的衰减速率。
• 推导KDE与其期望在所有带宽选择下本质范数偏差的有限样本集中不等式。
• 将边界扩展至KDE任意阶导数，支持在拓扑数据分析和几何推断中的应用。
• 将现有收敛结果推广至更广泛的分布类，包括具有无界密度或定义在不同维数流形混合体上的分布。

提出的方法

• 将体积维数 $ d_{\mathrm{vol}} $ 定义为满足 $ \limsup_{r \to 0} \sup_{x \in \mathbb{X}} \frac{P(\mathbb{B}_{\mathbb{R}^d}(x,r))}{r^\nu} < \infty $ 的 $ \nu $ 的上确界，通过概率衰减刻画内在维数。
• 利用经验过程理论与覆盖数界控制本质偏差 $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| $，其中 $ l_n \to 0 $。
• 应用度量熵与对称化技术，通过熵积分中的体积维数控制核函数类的覆盖数。
• 建立有限样本集中不等式：以至少 $ 1 - \delta $ 的概率， $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| \leq C \sqrt{ \frac{ (\log(1/l_n))_+ + \log(2/\delta) }{ n l_n^{2d - d_{\mathrm{vol}} + \epsilon} } } $，其中 $ \epsilon \in (0, d_{\mathrm{vol}}) $。
• 通过定义归一化导数核类并控制其覆盖数与 $ L_2 $-范数，将分析扩展至 $ D^s \hat{p}_h $。
• 推导导数偏差的边界：$ \sup_x |D^s \hat{p}_h(x) - D^s p_h(x)| \leq C'' \sqrt{ \frac{ (\log(1/h_n))_+ + \log(2/\delta) }{ n h_n^{2d + 2|s| - d_{\mathrm{vol}} + \epsilon} } } $，其中 $ \epsilon $ 在 $ d_{\mathrm{vol}} = 0 $ 时可取零。

实验结果

研究问题

• RQ1 如何以反映小球概率衰减速率的方式度量概率分布的内在维数？
• RQ2 能否推导出适应数据内在维数而非环境维数的KDE统一收敛界？
• RQ3 当底层分布具有无界密度或支持在不同维数流形的混合体上时，KDE的有限样本收敛速率如何？
• RQ4 KDE导数的收敛速率如何依赖于支撑的内在几何结构？
• RQ5 能否使边界对带宽选择保持一致，从而支持自适应带宽KDE的分析？

主要发现

• 体积维数 $ d_{\mathrm{vol}} $ 定义为欧氏小球概率衰减速率的临界值，提供了一种几何意义明确的内在维数度量。
• 本文建立了有限样本统一边界：以至少 $ 1 - \delta $ 的概率， $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| \leq C \sqrt{ \frac{ (\log(1/l_n))_+ + \log(2/\delta) }{ n l_n^{2d - d_{\mathrm{vol}} + \epsilon} } } $，其中任意 $ \epsilon \in (0, d_{\mathrm{vol}}) $。
• 当数据分布具有有界Lebesgue密度或支持在行为良好的低维流形上时，该边界恢复了已知收敛速率 $ O(n^{-1/2} h^{d/2}) $，但此时 $ d $ 被替换为 $ d_{\mathrm{vol}} $。
• 边界可扩展至KDE的导数：对任意阶 $ s $，偏差 $ \sup_x |D^s \hat{p}_h(x) - D^s p_h(x)| $ 被限制为 $ C'' \sqrt{ \frac{ (\log(1/h_n))_+ + \log(2/\delta) }{ n h_n^{2d + 2|s| - d_{\mathrm{vol}} + \epsilon} } } $。
• 结果适用于更广泛的分布，包括具有无界密度或支持在不同维数流形并集上的分布，而此前的边界在此类情形下不成立。
• 导数边界中的常数 $ C'' $ 仅依赖于 $ R, M_K, \|D^s K\|_\infty, d, d_{\mathrm{vol}}, C_{s,P,K,\epsilon}, \epsilon $，且与 $ n $ 和 $ h_n $ 无关，确保了统一适用性。