[论文解读] MULTIVARIATE DENSITY ESTIMATION BASED ON ADAPTIVE PARTITIONING: CONVERGENCE RATE, VARIABLE SELECTION AND SPATIAL ADAPTATION

Linxi Liu, Wing Hung Wong|arXiv (Cornell University)|Jan 12, 2014

Statistical Methods and Inference参考文献 18被引用 8

一句话总结

本文提出一种基于自适应二元划分的非参数多元密度估计方法，通过构建分段常数直方图以最大化似然。研究证明，对于一类丰富的密度函数，收敛速度与维度无关，表明该方法对维度灾难具有免疫性，并进一步将该方法扩展至变量选择与空间自适应，给出了明确的收敛速度。

ABSTRACT

Density estimation is one of the most fundamental problems in statistical inference. Here, we introduce a non-parametric approach to multivariate density estimation. The estimators are piecewise constant density functions supported by binary partitions. The partition of the sample space is learned by maximizing the likelihood of the corresponding histogram on that partition. We analyze the convergence rate of these maximum likelihood estimators and reach a conclusion that for a relatively rich class of density functions the rate does not directly depend on the dimension. This suggests that, under certain conditions, this method is immune to the curse of dimensionality. We also apply this method to variable selection and spatial adaptation cases, and calculate the explicit convergence rates respectively. These results help us further understand under what circumstances, and for which density classes, would this method perform well.

研究动机与目标

• 开发一种避免维度灾难的非参数多元密度估计方法。
• 分析基于自适应二元划分的最大似然估计器的收敛速度。
• 将该方法扩展至变量选择与空间自适应，并推导出明确的收敛速度。
• 确定该方法在特定密度函数类上表现良好的条件。

提出的方法

• 该方法在样本空间的二元划分上构建分段常数密度估计器。
• 通过在数据上最大化相应直方图的似然来选择划分。
• 通过数据驱动的划分细化，自适应地捕捉局部密度特征。
• 基于似然驱动划分过程的理论分析，推导出收敛速度。
• 通过选择相关维度将该方法扩展至变量选择；通过允许局部划分细化，实现空间自适应。
• 为每种扩展情形推导出收敛速度的理论界。

实验结果

研究问题

• RQ1 基于自适应划分的非参数密度估计器能否实现与维度无关的收敛速度？
• RQ2 基于似然的划分策略在高维设置下如何影响估计精度？
• RQ3 在密度估计中应用该方法进行变量选择时，收敛速度如何？
• RQ4 通过局部划分实现的空间自适应如何影响收敛速度？
• RQ5 该方法在哪些密度函数类上表现最佳？

主要发现

• 基于自适应划分的最大似然估计器的收敛速度，对于一类丰富的密度函数，不直接依赖于维度。
• 在底层密度满足一定正则性条件时，该方法表现出对维度灾难的免疫性。
• 为该方法的变量选择变体推导出明确的收敛速度。
• 也为空间自适应扩展版本建立了明确的收敛速度。
• 结果表明，该方法在具有局部结构或低内在维度的密度函数上表现良好。