[论文解读] Supervised functional classification: A theoretical remark and some comparisons

Amparo Baı́llo, Antonio Cuevas|ArXiv.org|Jun 17, 2008

Spectroscopy and Chemometric Analyses参考文献 27被引用 5

一句话总结

本文在具有三角形协方差函数的一般高斯过程类下，建立了k-最近邻（k-NN）分类器在函数型数据上的的一致性，并在真实和模拟数据集上对k-NN与其他函数型分类器进行了经验比较。结果表明，使用L∞范数的k-NN在光滑函数型数据上表现强劲，通常优于或匹配其他方法，支持其作为函数型分类中可靠的基准。

ABSTRACT

The problem of supervised classification (or discrimination) with functional data is considered, with a special interest on the popular k-nearest neighbors (k-NN) classifier. First, relying on a recent result by Cerou and Guyader (2006), we prove the consistency of the k-NN classifier for functional data whose distribution belongs to a broad family of Gaussian processes with triangular covariance functions. Second, on a more practical side, we check the behavior of the k-NN method when compared with a few other functional classifiers. This is carried out through a small simulation study and the analysis of several real functional data sets. While no global "uniform" winner emerges from such comparisons, the overall performance of the k-NN method, together with its sound intuitive motivation and relative simplicity, suggests that it could represent a reasonable benchmark for the classification problem with functional data.

研究动机与目标

• 在具有三角形协方差函数的一般高斯过程类下，建立函数型数据k-NN分类器的理论一致性。
• 通过真实和模拟数据集，评估k-NN相对于其他函数型分类方法的实证性能。
• 评估尽管k-NN结构简单，其是否仍能作为函数型分类的强而实用的基准。
• 研究对函数型曲线进行平滑处理对k-NN分类性能的影响。
• 比较各种函数型分类技术（包括PLS、MWR和h-modal方法）的计算效率与准确性。

提出的方法

• 理论分析基于Cérou和Guyader（2006）的结果，证明在具有三角形协方差函数的高斯过程类下，函数型数据k-NN分类器的一致性。
• 通过模拟研究进行实证比较，使用两种模型：一种为光滑曲线，另一种为不规则、尖锐的轨迹。
• 对于真实数据，使用交叉验证计算六个数据集（伯克利生长、ECG、MCO、光谱、音素和果蝇）的平均正确分类率。
• k-NN分类器使用L²和L∞范数计算函数型观测之间的距离。
• 额外比较的方法包括偏最小二乘法（PLS）、h-modal分类器、正则化投影（RP）和类内均值回归（MWR）。
• 对果蝇数据应用样条平滑，以评估其对使用L∞范数的k-NN性能的影响。

实验结果

研究问题

• RQ1 当底层过程为具有三角形协方差函数的高斯过程时，k-NN分类器在函数型数据上是否具有一致性？
• RQ2 在真实数据集上，使用L∞范数的k-NN分类器与其它函数型分类器相比，分类准确率如何？
• RQ3 对不规则函数型数据进行平滑处理是否能提升k-NN分类器的性能？
• RQ4 与PLS、MWR和h-modal分类器相比，k-NN在函数型数据上的计算效率与准确性如何？
• RQ5 由于其简单性与出色的实证表现，k-NN是否可作为函数型分类的可靠基准？

主要发现

• 通过Cérou和Guyader（2006）的结果，证明了在具有三角形协方差函数的一般高斯过程类下，k-NN分类器在函数型数据上具有理论一致性。
• 在ECG数据集中，使用L∞范数的k-NN达到99.00%的正确分类率，优于除PLS（98.25%）和h-modal（99.00%）外的所有其他方法。
• 在MCO数据集中，使用L∞范数的k-NN达到84.27%的准确率，仅略优于PLS（88.76%），但显著优于RP（70.79%）和MWR（68.54%）。
• 在果蝇数据集中，使用L∞范数的k-NN性能从非平滑状态下的54.68%提升至平滑后的57.12%，表明平滑处理能提升不规则曲线上k-NN的性能。
• 在音素数据集中，使用L²范数的k-NN达到78.00%的准确率，优于使用L∞范数的k-NN（73.00%）和MWR（69.50%），表明不同数据类型下度量选择具有重要影响。
• 尽管计算成本较高，PLS在光谱数据上达到最高准确率（91.63%），但使用L∞范数（90.70%）和L²范数（85.58%）的k-NN仍表现强劲。