[论文解读] Nystrom Method for Approximating the GMM Kernel

Ping Li|arXiv (Cornell University)|Jul 12, 2016

Gaussian Processes and Bayesian Inference参考文献 9被引用 5

一句话总结

本文提出GMM-NYS，一种新颖的方法，通过Nystrom方法对大规模机器学习中的广义极小-极大（GMM）核进行近似。通过利用基于采样的核近似，GMM-NYS在使用更少样本的情况下，分类准确率显著高于RBF-RFF，展现出作为现有核近似技术强有力替代方案的潜力。

ABSTRACT

The GMM (generalized min-max) kernel was recently proposed (Li, 2016) as a measure of data similarity and was demonstrated effective in machine learning tasks. In order to use the GMM kernel for large-scale datasets, the prior work resorted to the (generalized) consistent weighted sampling (GCWS) to convert the GMM kernel to linear kernel. We call this approach as ``GMM-GCWS''. In the machine learning literature, there is a popular algorithm which we call ``RBF-RFF''. That is, one can use the ``random Fourier features'' (RFF) to convert the ``radial basis function'' (RBF) kernel to linear kernel. It was empirically shown in (Li, 2016) that RBF-RFF typically requires substantially more samples than GMM-GCWS in order to achieve comparable accuracies. The Nystrom method is a general tool for computing nonlinear kernels, which again converts nonlinear kernels into linear kernels. We apply the Nystrom method for approximating the GMM kernel, a strategy which we name as ``GMM-NYS''. In this study, our extensive experiments on a set of fairly large datasets confirm that GMM-NYS is also a strong competitor of RBF-RFF.

研究动机与目标

• 为解决将非线性核方法（如GMM核）扩展至大规模数据集的挑战。
• 改进RBF-RFF方法在核近似中存在高方差和样本效率低下的问题。
• 探索Nystrom方法作为GMM核近似技术的适用性与性能表现。
• 证明基于采样的方法（如GMM-NYS）在准确率和样本效率方面优于基于随机投影的方法（如RBF-RFF）。

提出的方法

• 通过采样数据点子集，应用Nystrom方法对GMM核进行近似，构建核矩阵的低秩近似。
• GMM核被定义为在原始数据向量进行二维扩展后，元素级最小值之和与元素级最大值之和的比值。
• 该方法使用随机采样生成数据的压缩表示，以保留GMM核下的相似性信息。
• 所得的低维特征被用作线性分类器（如线性SVM或逻辑回归）的输入。
• 该方法命名为GMM-NYS，以区别于RBF-RFF和GMM-GCWS，强调其使用Nystrom方法对GMM核进行近似。
• 该方法在多个大规模数据集上，使用标准机器学习流程与线性分类器进行评估。

实验结果

研究问题

• RQ1 Nystrom方法能否有效应用于大规模学习任务中对GMM核的近似？
• RQ2 在分类准确率和样本效率方面，GMM-NYS与RBF-RFF相比表现如何？
• RQ3 在实际应用中，基于采样的核近似（GMM-NYS）是否优于基于随机投影的方法（RBF-RFF）？
• RQ4 在何种样本量（k）下，GMM-NYS的性能超过原始数据上的线性SVM？
• RQ5 GMM-NYS是否是现有核近似技术（如GMM-GCWS和RBF-RFF）的可行且具有竞争力的替代方案？

主要发现

• 在所有测试数据集上，GMM-NYS的分类准确率显著高于RBF-RFF，即使在较小样本量（k）下亦是如此。
• 在SVMGuide3数据集上，当k=32时，GMM-NYS的表现优于RBF-RFF，而原始线性SVM的准确率仅为36.5%。
• 在Letter数据集上，GMM-NYS在k=32时超越了原始线性SVM的性能，且在相同k值下准确率高于RBF-RFF。
• 在Covertype25k数据集上，当k≥64时，GMM-NYS的准确率超过原始数据上的线性SVM，表明其在捕捉非线性结构方面的有效性。
• 在RCV1数据集上，GMM-NYS始终优于RBF-RFF，后者在低k值下表现显著更差。
• 结果证实，基于采样的方法（如GMM-NYS）相比基于随机投影的方法（如RBF-RFF）具有更低的方差和更高的样本效率。