[论文解读] Multi-scale Classification using Localized Spatial Depth

Subhajit Dutta, Anil K. Ghosh|arXiv (Cornell University)|Apr 15, 2015

Advanced Statistical Methods and Models参考文献 24被引用 9

一句话总结

该论文提出了一种基于局部空间深度（LSPD）的多尺度分类器，用于处理高维数据中复杂、非椭圆及多模态的类别分布。通过在多个局部化尺度上对LSPD估计的后验概率拟合广义可加模型，并聚合结果，该方法即使在维度超过样本量时仍能实现强大的分类性能，在理论一致性与挑战性设置下的经验鲁棒性方面表现优异。

ABSTRACT

In this article, we develop and investigate a new classifier based on features extracted using spatial depth. Our construction is based on fitting a generalized additive model to the posterior probabilities of the different competing classes. To cope with possible multi-modal as well as non-elliptic population distributions, we develop a localized version of spatial depth and use that with varying degrees of localization to build the classifier. Final classification is done by aggregating several posterior probability estimates each of which is obtained using localized spatial depth with a fixed scale of localization. The proposed classifier can be conveniently used even when the dimension is larger than the sample size, and its good discriminatory power for such data has been established using theoretical as well as numerical results.

研究动机与目标

• 解决传统分类器（如LDA、QDA、k-NN和KDE）在处理非椭圆及多模态类别分布时的局限性。
• 开发一种在特征数超过样本量的高维设置下表现良好的鲁棒非参数分类器。
• 通过引入适应局部数据几何结构的局部化空间深度版本，克服非参数方法中的维度灾难问题。
• 确保在高维、小样本（HDLSS）渐近框架下的理论一致性与强性能表现。
• 提供一种灵活的仿射不变分类框架，无需假设参数分布形式即可捕捉复杂类别边界。

提出的方法

• 该方法使用通过核函数 $ g $ 定义的局部空间深度（LSPD）度量，其中 $ \text{LSPD}_h(\mathbf{x}, F) = \mathbb{E}_F[ h^d K_h(\mathbf{t}) ] - \| \mathbb{E}_F[ h^d K_h(\mathbf{t}) u(\mathbf{t}) ] \| $，$ h $ 控制局部化尺度。
• 通过在多个固定局部化尺度 $ h $ 上计算的LSPD值估计后验概率，并对这些估计值拟合广义可加模型，以建模基于深度的类别特定后验分布。
• 最终分类器通过加权平均聚合来自不同局部化尺度的多个后验概率估计，提升鲁棒性与判别能力。
• 该方法在使用仿射等变散点矩阵对数据进行标准化后应用，确保在线性变换下的不变性。
• 在HDLSS渐近框架下建立了理论一致性，证明深度估计几乎必然收敛至类别特定的极限向量 $ \mathbf{c}_j $ 或 $ \mathbf{c}_j' $，具体取决于缩放方式。
• 该方法设计用于在 $ d \gg n $ 时仍具有效性，利用基于深度的中心向外排序来捕捉复杂、非椭圆的类别结构。

实验结果

研究问题

• RQ1 基于空间深度的非参数分类器是否能有效处理传统参数与非参数方法失效的多模态与非椭圆类别分布？
• RQ2 在高维、小样本（HDLSS）设置下，局部空间深度如何提升分类性能？
• RQ3 在HDLSS条件下，局部空间深度的渐近行为如何？其是否导致一致的后验概率估计？
• RQ4 基于深度的后验估计的多尺度聚合是否能在复杂数据几何结构下超越单尺度或标准非参数分类器？
• RQ5 在何种条件下，局部空间深度估计器在高维下实现一致强收敛？

主要发现

• 所提出的分类器在HDLSS渐近框架下实现了统一强一致性，深度估计几乎必然收敛至类别特定的极限向量 $ \mathbf{c}_j $ 或 $ \mathbf{c}_j' $，具体取决于局部化参数 $ h $ 的缩放方式。
• 当 $ \sqrt{d}/h \to 0 $ 时，$ \text{LSPD}_h(\mathbf{x}, F_j) $ 的极限为 $ 1 - \sqrt{1/2} $，且对 $ i \neq j $，其极限收敛至 $ 1 - \sqrt{ \frac{\sigma_j^2 + \nu_{ji}}{\sigma_j^2 + \sigma_i^2 + \nu_{ji}} } $，在适当条件下确保类别可分性。
• 当 $ \sqrt{d}/h \to A $ 时，深度向量 $ \mathbf{z}(\mathbf{x}) $ 几乎必然收敛至 $ \mathbf{c}_j' $，且仅当 $ \sigma_j = \sigma_i $ 且 $ \nu_{ji} = \nu_{ij} = 0 $ 时 $ \mathbf{c}_j' = \mathbf{c}_i' $，这确保了在非球形、非重叠结构下的类别可分性。
• 当 $ \sqrt{d}/h \to \infty $ 时，深度向量收敛至零，表明除非进行适当缩放，否则基于深度的估计会退化，凸显了多尺度聚合的必要性。
• 该方法在高维下优于标准非参数分类器（如k-NN和KDE），即使在 $ d \to \infty $ 时误分类率仍保持较低，尤其在非椭圆与多模态设置下表现更优。
• 理论结果证实，由于局部深度对复杂分布形状的鲁棒性，该分类器在高维数据中（即使 $ d \gg n $）仍能保持良好的判别能力。