[论文解读] Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jun 15, 2021

Neural Networks and Applications参考文献 129被引用 12

一句话总结

本教程与综述论文全面概述了机器学习中的核方法，重点介绍再生核希尔伯特空间（RKHS）、默瑟定理、特征函数以及核近似的奈斯特定征方法。它解释了泛函分析中核的理论基础及其在基于核的学习算法中的实际应用，其关键贡献在于对奈斯特罗姆方法的详细阐述，该方法可实现大规模机器学习中核的可扩展近似。

ABSTRACT

This is a tutorial and survey paper on kernels, kernel methods, and related fields. We start with reviewing the history of kernels in functional analysis and machine learning. Then, Mercer kernel, Hilbert and Banach spaces, Reproducing Kernel Hilbert Space (RKHS), Mercer's theorem and its proof, frequently used kernels, kernel construction from distance metric, important classes of kernels (including bounded, integrally positive definite, universal, stationary, and characteristic kernels), kernel centering and normalization, and eigenfunctions are explained in detail. Then, we introduce types of use of kernels in machine learning including kernel methods (such as kernel support vector machines), kernel learning by semi-definite programming, Hilbert-Schmidt independence criterion, maximum mean discrepancy, kernel mean embedding, and kernel dimensionality reduction. We also cover rank and factorization of kernel matrix as well as the approximation of eigenfunctions and kernels using the Nystr{ö}m method. This paper can be useful for various fields of science including machine learning, dimensionality reduction, functional analysis in mathematics, and mathematical physics in quantum mechanics.

研究动机与目标

• 提供机器学习中核方法数学基础的统一且易于理解的教程。
• 阐明再生核希尔伯特空间（RKHS）和默瑟定理在实现基于核的学习中的作用。
• 综述核在各类机器学习应用中的使用，包括支持向量机（SVM）、核主成分分析（kernel PCA）以及独立性检验。
• 解释奈斯特罗姆方法作为一种可扩展的近似技术，用于大规模核矩阵的近似，尤其在流形学习中。
• 弥合泛函分析中的理论概念与现代机器学习中实际实现之间的鸿沟。

提出的方法

• 系统性地回顾了从希尔伯特和施密特关于积分方程的工作到默瑟定理及RKHS理论的核的历史发展。
• 解释了默瑟核的构造及其性质，包括有界性、通用核和特征核类别。
• 详述了特征函数在核算子中的作用及其通过表示定理与核方法的关联。
• 引入奈斯特罗姆方法作为利用一组数据点（地标）对完整核矩阵进行低秩近似的技巧。
• 通过分块矩阵分解推导奈斯特罗姆近似公式，并证明其与核矩阵补全的等价性。
• 讨论了用于地标选择的优化与采样策略，以在保持计算效率的同时提高近似精度。

实验结果

研究问题

• RQ1 再生核希尔伯特空间（RKHS）如何为机器学习中的核方法提供理论基础？
• RQ2 通过默瑟定理，核方法的数学依据是什么？它与正定核有何关联？
• RQ3 如何利用核算子的特征函数来理解RKHS中数据的结构？
• RQ4 奈斯特罗姆方法在何种程度上实现了大规模数据集的可扩展核近似？
• RQ5 在基于奈斯特罗姆的核近似中，地标选择的理论与实际权衡是什么？

主要发现

• 默瑟定理为将正定核表示为希尔伯特空间中的内积提供了严格的理论基础，从而使得核方法得以应用。
• 奈斯特罗姆方法通过采样一组数据点（地标）实现核矩阵的精确低秩近似，当核矩阵的秩不超过地标数量时，其结果是精确的。
• 对于许多现实世界的数据集，由于流形假设，核矩阵具有低秩特性，这使得奈斯特罗姆方法在实践中尤为有效。
• 奈斯特罗姆方法的近似误差可被界定，且通过智能地标选择（如贪婪法或基于稀疏流形的采样）可最小化。
• 奈斯特罗姆方法在数学上等价于基于地标谱嵌入技术，如多维缩放（MDS）和局部线性嵌入（LLE）。
• 诸如核SVM、高斯过程和核PCA等核方法均建立在RKHS框架之上，该框架通过表示定理确保了解的唯一性。