[论文解读] Scalable Learning in Reproducing Kernel Krein Spaces

Dino Oglić, Thomas Gärtner|Repository@Nottingham (University of Nottingham)|Sep 6, 2018

Model Reduction and Neural Networks被引用 9

一句话总结

本文首次对不定核矩阵的低秩近似提出了数学上完整的Nyström方法推导，使在再生核Kreïn空间中的可扩展学习成为可能。该文提出了一种高效的近似特征分解方法，并引入了核岭回归、支持向量机及方差约束岭回归的新型低秩变体，在保持大规模分类任务中结构化与向量数据准确性的前提下，显著降低了计算成本。

ABSTRACT

We provide the first mathematically complete derivation of the Nyström method for low-rank approximation of indefinite kernels and propose an efficient method for finding an approximate eigendecomposition of such kernel matrices. Building on this result, we devise highly scalable methods for learning in reproducing kernel Kre\uın spaces. The devised approaches provide a principled and theoretically well-founded means to tackle large scale learning problems with indefinite kernels. The main motivation for our work comes from problems with structured representations (e.g., graphs, strings, time-series), where it is relatively easy to devise a pairwise (dis)similarity function based on intuition and/or knowledge of domain experts. Such functions are typically not positive definite and it is often well beyond the expertise of practitioners to verify this condition. The effectiveness of the devised approaches is evaluated empirically using indefinite kernels defined on structured and vectorial data representations.

研究动机与目标

• 为大规模机器学习问题中不定核学习缺乏理论严谨且可扩展的方法提供解决方案。
• 以数学上严谨的方式将Nyström方法——此前仅用于正定核——推广至不定核矩阵。
• 为源自结构化数据表示的核矩阵开发高效的低秩近似与近似特征分解方法。
• 设计适用于再生核Kreïn空间的核岭回归、支持向量机及方差约束岭回归的可扩展变体。
• 在包含多种不定核的真实数据集上评估所提方法的有效性。

提出的方法

• 采用几何方法推导不定核的Nyström方法，避免了先前工作中对积分特征函数近似中精确相等的假设。
• 提出一种新颖且计算高效的不定核矩阵近似特征分解算法，计算量最多为3m²n + 3m³ FLOPs，优于先前方法的7m²n + 2m³ FLOPs。
• 将两种最先进的地标采样策略——聚类与杠杆度采样——适配至不定核设置下的Nyström近似。
• 在再生核Kreïn空间中开发核岭回归与支持向量机的低秩变体，实现可扩展分类。
• 提出方差约束岭回归的低秩变体，以在不定核设置下提升泛化性能。
• 建立Kreïn支持向量机与翻转谱核方法之间的理论联系，支持该方法的有效性。

实验结果

研究问题

• RQ1 Nyström方法能否被严格推广至不定核矩阵？其正确的数学表达式是什么？
• RQ2 如何高效计算不定核矩阵的近似特征分解？其计算复杂度与现有方法相比如何？
• RQ3 能否在再生核Kreïn空间中有效构建低秩核岭回归与支持向量机等可扩展学习方法？
• RQ4 聚类与杠杆度采样等地标选择策略在不定核近似中的表现如何？
• RQ5 所提低秩方法在真实世界数据集上的分类准确率与近似质量方面的实证性能如何？

主要发现

• 当使用10³个地标近似10⁶×10⁶的核矩阵时，所提不定核矩阵近似特征分解方法比先前方法减少约3×10¹²次FLOPs。
• 所推导的Nyström方法在数学上是完整的，不依赖于特征函数近似中精确相等的假设，与先前工作不同。
• 核岭回归与支持向量机的低秩变体在15个基准数据集上，针对多种不定核，实现了具有竞争力的分类准确率。
• 实证结果表明，所提方法能有效近似不定核矩阵，同时在10折交叉验证中保持较低的分类误差。
• 理论分析证实，对正定核有效的地标选择策略也适用于与不定核矩阵共享同一特征空间的翻转谱矩阵。
• 该方法为大规模不定核学习提供了原则性且理论基础坚实的框架，克服了先前启发式方法的局限性。