[论文解读] Universal consistency and rates of convergence of multiclass prototype algorithms in metric spaces

László Györfi, Roi Weiss|arXiv (Cornell University)|Oct 1, 2020

Face and Expression Recognition参考文献 42被引用 8

一句话总结

本文提出了Proto-NN，一种在度量空间中用于多分类的简化、数据相关原型最近邻规则，证明了其在任何允许普遍一致分类器的度量空间中具有普遍一致性。在边界条件和广义-Lipschitz条件下，建立了$k$-NN和混合原型规则的收敛速率，将先前在$\mathbb{R}^d$中的结果扩展到无有界性假设的一般度量空间。

ABSTRACT

We study universal consistency and convergence rates of simple nearest-neighbor prototype rules for the problem of multiclass classification in metric paces. We first show that a novel data-dependent partitioning rule, named Proto-NN, is universally consistent in any metric space that admits a universally consistent rule. Proto-NN is a significant simplification of OptiNet, a recently proposed compression-based algorithm that, to date, was the only algorithm known to be universally consistent in such a general setting. Practically, Proto-NN is simpler to implement and enjoys reduced computational complexity. We then proceed to study convergence rates of the excess error probability. We first obtain rates for the standard $k$-NN rule under a margin condition and a new generalized-Lipschitz condition. The latter is an extension of a recently proposed modified-Lipschitz condition from $\mathbb R^d$ to metric spaces. Similarly to the modified-Lipschitz condition, the new condition avoids any boundness assumptions on the data distribution. While obtaining rates for Proto-NN is left open, we show that a second prototype rule that hybridizes between $k$-NN and Proto-NN achieves the same rates as $k$-NN while enjoying similar computational advantages as Proto-NN. However, as $k$-NN, this hybrid rule is not consistent in general.

研究动机与目标

• 在一般度量空间中建立一种新颖、简化的原型最近邻规则（Proto-NN）的普遍一致性。
• 通过广义-Lipschitz条件，将$\mathbb{R}^d$中$k$-NN的收敛速率分析扩展到一般度量空间。
• 证明一种结合$k$-NN和Proto-NN的混合规则可实现$k$-NN的收敛速率，同时保留Proto-NN的计算优势。
• 通过在度量空间中引入广义-Lipschitz条件，消除对数据分布有界性的假设。
• 证明Proto-NN继承了OptiNet的普遍一致性，但计算复杂度显著降低。

提出的方法

• 提出Proto-NN，一种基于局部邻域结构选择原型的数据相关划分规则，简化了OptiNet基于压缩的方法。
• 证明Proto-NN在任何可分度量空间中具有普遍一致性，该空间允许存在普遍一致分类器，依赖于对局部密度和分类稳定性的新分析。
• 在度量空间中引入广义-Lipschitz条件，将$\mathbb{R}^d$中的改进型-Lipschitz条件推广至任意度量空间，且无需有界性要求。
• 在边界条件和广义-Lipschitz条件下分析$k$-NN的收敛速率，推导出$O(k^{-(\alpha+1)/2})$和$O(h(k/n)^{\alpha+1})$的误差界。
• 构建一种混合原型规则，结合$k$-NN的速率性能与Proto-NN的计算简洁性，证明其可达到与$k$-NN相同的收敛速率。
• 使用Hoeffding不等式和Chernoff界控制回归函数估计中的估计误差，尤其在存在边界和Lipschitz型条件时。

实验结果

研究问题

• RQ1 是否存在一种显著简化于OptiNet的替代方法，可在一般度量空间中保持普遍一致性？
• RQ2 在弱于有界性的分布假设下，$k$-NN的收敛速率能否扩展到一般度量空间？
• RQ3 是否存在一种混合原型规则，可结合Proto-NN的快速计算与$k$-NN的收敛速率？
• RQ4 广义-Lipschitz条件能否在速率分析中替代度量空间中的有界性假设？
• RQ5 边界条件与广义-Lipschitz条件之间的理论关系如何决定原型规则的收敛速率？

主要发现

• Proto-NN在任何可分度量空间中均具有普遍强一致性，且该空间允许存在普遍一致分类器，显著简化了OptiNet复杂的压缩机制。
• 在边界条件和广义-Lipschitz条件下，$k$-NN的收敛速率为$O(k^{-(\alpha+1)/2})$，其中$\alpha$为边界指数。
• 项$J_{n,j,l}^{(2)}$被有界为$O(h(k/n)^{\alpha+1}) + O(h(1/m)^{\alpha+1})$，表明广义-Lipschitz条件对误差衰减的影响。
• 混合原型规则实现了与$k$-NN相同的收敛速率$O(k^{-(\alpha+1)/2})$，同时保持了类似Proto-NN的计算效率。
• 广义-Lipschitz条件避免了对数据分布有界性的假设，使分析适用于无限维度度量空间，如$L^p([a,b])$。
• 分析确认，过量误差概率的衰减速率由边界条件和回归函数的局部正则性（由广义-Lipschitz条件量化）共同决定。