[论文解读] Rates of Convergence for Nearest Neighbor Classification

Kamalika Chaudhuri, Sanjoy Dasgupta|arXiv (Cornell University)|Jun 30, 2014

Statistical Methods and Inference参考文献 17被引用 69

一句话总结

本文在最小假设下，为度量空间中k-最近邻（k-NN）分类建立了有限样本、与分布相关的收敛速率，引入了专为k-NN设计的光滑性类。它提供了紧致的上下界，反映了该方法对局部几何的自适应行为，证明了在更广泛设定下的普遍一致性，并表明在某些条件下，1-NN的性能可优于k > 1时的k-NN。

ABSTRACT

Nearest neighbor methods are a popular class of nonparametric estimators with several desirable properties, such as adaptivity to different distance scales in different regions of space. Prior work on convergence rates for nearest neighbor classification has not fully reflected these subtle properties. We analyze the behavior of these estimators in metric spaces and provide finite-sample, distribution-dependent rates of convergence under minimal assumptions. As a by-product, we are able to establish the universal consistency of nearest neighbor in a broader range of data spaces than was previously known. We illustrate our upper and lower bounds by introducing smoothness classes that are customized for nearest neighbor classification.

研究动机与目标

• 弥合最近邻方法的自适应特性与先前工作中收敛速率分析不够精细之间的差距。
• 在最小假设下，为一般度量空间中的k-NN分类推导出有限样本、与分布相关的收敛速率。
• 刻画k-NN在先前已知设定之外实现普遍一致性的条件。
• 引入专为最近邻分类设计的光滑性类，以更好地反映其局部自适应性。
• 提供紧致的上下界，以捕捉k-NN在具有不同局部几何的异质数据空间中的行为。

提出的方法

• 使用输入空间上的Borel概率测度，在一般度量空间中分析k-NN分类的概率框架。
• 引入以点为中心的“p-球”概念，定义为包含至少p比例测度的最小闭球。
• 将半径函数r_p(x)定义为满足以x为中心、半径为r的球测度至少为p的下确界半径。
• 利用集中不等式来界定k-NN分类器出错的概率，且在训练数据上以高概率成立。
• 推导涉及边界集∂_p测度的界，该集合捕捉了分类中的模糊区域。
• 引入基于η(x) = P(Y=1|X=x)的Hölder型条件的光滑性类，将收敛速率与条件概率的正则性联系起来。

实验结果

研究问题

• RQ1 在一般度量空间中，k-NN分类的有限样本、与分布相关的收敛速率是什么？
• RQ2 收敛速率如何依赖于条件概率函数η(x)的局部几何与光滑性？
• RQ3 在哪些更广泛的类别的数据空间中，k-NN具有普遍一致性，而不仅限于欧氏空间或光滑流形？
• RQ4 1-NN的性能是否在普遍意义上优于k > 1时的k-NN，以及在何种条件下？
• RQ5 如何定义光滑性类，以反映最近邻方法在非独立同分布或异质设定下的自适应特性？

主要发现

• 本文建立了依赖于边界集∂_p测度和条件概率函数η光滑性的k-NN分类有限样本界。
• 对于任意δ > 0，以至少1−δ的概率，k-NN分类器的误差被限制在δ + μ(∂_p)以内，其中p = k/n + 2log(2/δ)/n × (1 + √(1 + k/log(2/δ)))。
• 该界表明，在某些分布下，1-NN在误差率方面可优于k > 1时的k-NN，与Cover和Hart的可容许性结果一致。
• 作者引入了基于条件|η(x₁) − η(x₂)| ≤ Kρ(x₁,x₂)^{2α}的光滑性类，使得收敛速率能以Hölder参数α精确表征。
• 该分析证明了k-NN在比以往已知更广泛的度量空间类中具有普遍一致性，包括具有非原子测度和不连续η的度量空间。
• 结果表明，k-NN能自适应于局部几何，当η更光滑或数据分布更密集时，收敛速度更快。