[论文解读] The Gram-Charlier A Series based Extended Rule-of-Thumb for Bandwidth Selection in Univariate and Multivariate Kernel Density Estimations

Dharmani Bhaveshkumar C|arXiv (Cornell University)|Apr 3, 2015

Statistical Methods and Inference参考文献 10被引用 5

一句话总结

本文提出了一种扩展的经验法则（ExROT），用于单变量和多变量核密度估计（KDE）中的带宽选择，通过使用Gram-Charlier A（GCA）级数展开，更准确地近似未知密度为近似高斯分布，从而在经典经验法则（ROT）假设精确高斯性基础上实现改进。该方法在计算效率与ROT相当、远优于插值法的同时，实现了更低的积分均方误差（IMSE），并利用Kronecker积和向量微分算子的向量化微积分方法推导多变量AMISE表达式，避免了张量微积分的使用。

ABSTRACT

The article derives a novel Gram-Charlier A (GCA) Series based Extended Rule-of-Thumb (ExROT) for bandwidth selection in Kernel Density Estimation (KDE). There are existing various bandwidth selection rules achieving minimization of the Asymptotic Mean Integrated Square Error (AMISE) between the estimated probability density function (PDF) and the actual PDF. The rules differ in a way to estimate the integration of the squared second order derivative of an unknown PDF $(f(\cdot))$, identified as the roughness $R(f''(\cdot))$. The simplest Rule-of-Thumb (ROT) estimates $R(f''(\cdot))$ with an assumption that the density being estimated is Gaussian. Intuitively, better estimation of $R(f''(\cdot))$ and consequently better bandwidth selection rules can be derived, if the unknown PDF is approximated through an infinite series expansion based on a more generalized density assumption. As a demonstration and verification to this concept, the ExROT derived in the article uses an extended assumption that the density being estimated is near Gaussian. This helps use of the GCA expansion as an approximation to the unknown near Gaussian PDF. The ExROT for univariate KDE is extended to that for multivariate KDE. The required multivariate AMISE criteria is re-derived using elementary calculus of several variables, instead of Tensor calculus. The derivation uses the Kronecker product and the vector differential operator to achieve the AMISE expression in vector notations. There is also derived ExROT for kernel based density derivative estimator.

研究动机与目标

• 开发一种更精确的核密度估计带宽选择规则，以改进经典经验法则（ROT）对未知密度精确高斯性的假设。
• 通过Gram-Charlier A（GCA）级数展开引入更灵活的近似高斯假设，以降低真实密度二阶导数粗糙度估计（$R(f''(\.))$）的偏差。
• 通过初等多元微积分将单变量ExROT扩展至多变量KDE，利用Kronecker积和向量微分算子形式化避免复杂的张量微积分。
• 推导适用于基于核的多变量密度导数估计的相应ExROT，提升导数估计任务的精度。
• 在计算效率与估计精度之间实现平衡，提供一种比求解方程插值法更快的替代方案，同时在多种非高斯分布下，IMSE表现优于ROT。

提出的方法

• 利用Gram-Charlier A（GCA）级数在近似高斯假设下展开未知密度，通过引入高阶累积量，使对真实密度的近似优于ROT中采用的高斯假设。
• 通过向量记号和向量微分算子的Kronecker积，推导多变量KDE的渐近均方积分误差（AMISE），避免使用张量微积分。
• 采用K-导数算子（$\mathbf{D}_{\boldsymbol{\lambda}}^{\otimes}$）以紧凑的向量化形式系统表达多元函数的高阶偏导数。
• 在AMISE推导中，应用K-导数算子的缩放与链式法则性质，简化涉及多元Hermite多项式与GCA展开的表达式。
• 利用所得AMISE表达式，通过GCA展开中累积量估计$R(f''(\cdot))$，替代ROT中的高斯插值，推导出ExROT。
• 通过相同的向量化微积分框架，推导多变量密度导数估计的对应AMISE与带宽规则，将ExROT扩展至导数估计任务。

实验结果

研究问题

• RQ1 基于GCA级数的更灵活近似高斯假设，能否在单变量KDE的IMSE方面优于经典经验法则（ROT）？
• RQ2 如何在不依赖张量微积分的前提下，以计算上可行的方式推导多变量AMISE？
• RQ3 在多变量KDE中，使用GCA展开中的高阶累积量对带宽选择精度有何影响？
• RQ4 ExROT框架能否扩展至基于核的密度导数估计，实现相近的计算成本与更高的精度？
• RQ5 在非高斯分布下，ExROT与求解方程插值法相比，在计算复杂度与估计误差方面表现如何？

主要发现

• ExROT在广泛范围的非高斯单峰分布（包括偏态、重尾及易受异常值影响的分布）中，显著降低了积分均方误差（IMSE），优于经典ROT。
• ExROT保持了与经典ROT相当的计算复杂度，适用于大规模或实时应用场景。
• ExROT在MISE（均方积分误差）性能上优于ROT，经验模拟结果证实其在多种数据类型中均表现出一致的改进。
• Kronecker积与向量微分算子的使用，使得多变量AMISE的推导更加简洁清晰，避免了张量微积分的复杂性，同时保持了数学严谨性。
• 多变量密度导数估计的ExROT被成功推导并证明计算高效，将框架扩展至导数估计任务。
• 通过累积量对未知密度进行GCA近似，显著提高了对$R(f''(\cdot))$（二阶导数粗糙度）的估计精度，这对最优带宽选择至关重要。