[论文解读] Nonparametric method for space conditional density estimation in moderately large dimensions

Minh-Lien Jeanne Nguyen|arXiv (Cornell University)|Jan 19, 2018

Statistical Methods and Inference参考文献 16被引用 3

一句话总结

本文提出一种贪心的、非参数的基于核的方法，用于在中等高维空间中进行条件密度估计，采用改进的 Rodeo 算法迭代选择相关变量并优化带宽。该方法实现了接近极小极大（quasi-minimax）的收敛速率 $ O(n^{-2p/(2p+r)}) $，其中 $ r $ 为内在维数，同时通过早期变量选择和稀疏感知带宽调优保持了计算效率。

ABSTRACT

In this paper, we consider the problem of estimating a conditional density in moderately large dimensions. Much more informative than regression functions, conditional densities are of main interest in recent methods, particularly in the Bayesian framework (studying the posterior distribution, finding its modes...). Considering a recently studied family of kernel estimators, we select a pointwise multivariate bandwidth by revisiting the greedy algorithm Rodeo (Regularisation Of Derivative Expectation Operator). The method addresses several issues: being greedy and computationally efficient by an iterative procedure, avoiding the curse of high dimensionality under some suitably defined sparsity conditions by early variable selection during the procedure, converging at a quasi-optimal minimax rate.

研究动机与目标

• 通过利用高维数据中的稀疏性，解决条件密度估计中的维数灾难问题。
• 开发一种计算高效的算法，即使相关变量数量较少时也能保持快速收敛速率。
• 在中等大维度（$ d \gtrsim 3 $）下实现点对点的条件密度估计，此时传统核方法变得不可行。
• 在稀疏性假设下实现极小极大最优或接近极小极大收敛速率，具体为 $ O(n^{-2p/(2p+r)}) $，其中 $ r $ 为影响条件密度的相关分量数量。
• 在估计过程中早期集成变量选择，避免对无关协变量进行全维计算。

提出的方法

• 该方法采用 Rodeo（正则化导数期望算子）贪心算法的改进版本，迭代选择变量并优化多元核密度估计器中的带宽。
• 采用点对点带宽选择策略，自适应地识别并仅保留协变量向量 $ X $ 的最相关分量，从而在过程中早期降低维度。
• 该方法结合核密度估计与通过迭代优化引入的稀疏性惩罚，利用导数期望算子检测显著变量。
• 理论分析依赖于浓度不等式和矩条件，以控制估计误差，特别是限制真实与估计边际密度之间的差异。
• 该方法在 $ p $-正则性条件下保证收敛，并使用双树加速近似方法，以在中等维度下保持计算可行性。
• 通过自适应带宽选择和稀疏性检测控制偏差-方差权衡，建立类 oracle 不等式。

实验结果

研究问题

• RQ1 当仅少数协变量影响响应变量时，非参数条件密度估计器是否能在高维设置下实现接近极小极大的收敛速率？
• RQ2 如何将变量选择早期整合到带宽选择过程中，以在不牺牲估计精度的前提下降低计算成本？
• RQ3 在中等高维空间（$ d \gtrsim 3 $）下，是否能够保持计算效率，同时实现最优或接近最优的收敛速率？
• RQ4 在稀疏性条件下，该方法相较于标准核带宽选择方法（如交叉验证）在速度和精度方面有多大的性能优势？
• RQ5 Rodeo 算法是否可被适配用于条件密度估计，以在稀疏性条件下同时保证一致性和快速收敛？

主要发现

• 所提方法实现了 $ O(n^{-2p/(2p+r)}) $ 的收敛速率，该速率在极小极大框架下近乎最优，其中 $ r $ 为影响条件密度的相关分量数量。
• 由于早期变量选择，该方法计算效率高，避免了全维带宽优化，显著降低了运行时间。
• 即使真实维度 $ d $ 较大，只要内在维度 $ r \ll d $，该方法仍能保持一致性和最优收敛速率。
• 通过浓度界和矩条件建立了理论保证，表明估计误差以高概率受到控制。
• 在中等高维空间中，该方法在计算可扩展性方面优于标准核带宽选择技术（如交叉验证）。
• 理论分析证实，该估计器实现了 oracle 不等式，意味着其性能可媲美已知真实稀疏结构的情况。