[论文解读] Robust Kernel Density Estimation by Scaling and Projection in Hilbert Space

Robert A. Vandermeulen, Clayton Scott|arXiv (Cornell University)|Nov 17, 2014

Statistical Methods and Inference参考文献 19被引用 4

一句话总结

本文提出了缩放与投影核密度估计器（SPKDE），一种鲁棒的非参数密度估计方法，通过缩放核密度并将其投影到 $L^2$ 范数下最近的加权密度上，改进了传统 KDE。在污染条件充分的前提下，该方法渐近地恢复了真实目标密度，在含污染的基准数据集上表现出一致性和优越性能。

ABSTRACT

While robust parameter estimation has been well studied in parametric density estimation, there has been little investigation into robust density estimation in the nonparametric setting. We present a robust version of the popular kernel density estimator (KDE). As with other estimators, a robust version of the KDE is useful since sample contamination is a common issue with datasets. What "robustness" means for a nonparametric density estimate is not straightforward and is a topic we explore in this paper. To construct a robust KDE we scale the traditional KDE and project it to its nearest weighted KDE in the $L^2$ norm. This yields a scaled and projected KDE (SPKDE). Because the squared $L^2$ norm penalizes point-wise errors superlinearly this causes the weighted KDE to allocate more weight to high density regions. We demonstrate the robustness of the SPKDE with numerical experiments and a consistency result which shows that asymptotically the SPKDE recovers the uncontaminated density under sufficient conditions on the contamination.

研究动机与目标

• 为解决在数据污染存在下缺乏鲁棒的非参数密度估计方法的问题。
• 形式化在非参数设置下，可对污染密度进行去污染的条件。
• 开发一种可扩展且一致的估计器，能够从目标密度与污染密度的混合中恢复真实目标密度。
• 为非参数密度估计中的鲁棒性提供理论基础，特别是针对核密度估计器。
• 在具有不同污染水平的真实世界数据集上，对 SPKDE 与标准 KDE、RKDE 和 rejKDE 进行实证验证。

提出的方法

• SPKDE 从标准核密度估计器（KDE）开始，并通过大于一的因子进行缩放，以增强密度差异。
• 然后将缩放后的 KDE 投影到 $L^2$ 范数下最近的概率密度上，该方法对点误差进行二次惩罚。
• 此投影将权重从低密度区域重新分配到高密度区域，有效抑制了污染影响。
• 该方法被表述为一个约束优化问题，以在 $L^2$ 范数下找到与缩放 KDE 最近的加权 KDE。
• 理论分析表明，SPKDE 的渐近极限是观测密度的变换版本，在 $f_{\text{tar}}$ 和 $f_{\text{con}}$ 满足充分条件时，等于真实目标密度。
• 该方法利用希尔伯特空间几何，确保输出保持为有效的概率密度函数。

实验结果

研究问题

• RQ1 在目标密度与污染密度满足何种条件下，非参数去污染过程能够恢复真实密度？
• RQ2 能否构建一种鲁棒的核密度估计器，使其在污染条件下渐近收敛于真实目标密度？
• RQ3 对缩放 KDE 进行 $L^2$ 投影如何相比标准 KDE 或其他鲁棒估计器提升鲁棒性？
• RQ4 是否存在一个形式化的框架，用于在无限样本设置下去污染非参数密度？
• RQ5 SPKDE 在具有污染的真实世界数据集上的实证性能，相对于现有鲁棒 KDE 方法表现如何？

主要发现

• 在 $f_{\text{tar}}$ 和 $f_{\text{con}}$ 满足充分条件时，SPKDE 渐近地恢复了真实目标密度 $f_{\text{tar}}$，特别是当污染表现为低密度区域时。
• SPKDE 实现了一致估计，其渐近极限是观测密度的缩放和偏移版本，在所提条件下等于 $f_{\text{tar}}$。
• 在德国、心脏和声纳数据集上，SPKDE 的对数似然得分显著低于 KDE 和 RKDE，其中德国数据集得分为 -0.48 ± 0.4，声纳数据集得分为 -19 ± 5，优于 RKDE 和 rejKDE。
• 在 ringnorm 和 waveform 数据集上，SPKDE 的对数似然得分分别为 -14 ± 0.4 和 -8.3 ± 0.3，无论在何种污染水平下均与或优于其他方法。
• 在 splice 和甲状腺数据集上，SPKDE 的对数似然得分分别为 34 ± 0.2 和 -6.8 ± 0.2，表现出对污染的稳定性。
• 在高污染基准数据集上，SPKDE 始终优于标准 KDE 和 RKDE，而 rejKDE 方法在声纳和 ringnorm 数据集上表现最差。