[论文解读] Recursive Sampling for the Nyström Method

Cameron Musco, Christopher Musco|arXiv (Cornell University)|Jan 1, 2017

Model Reduction and Neural Networks被引用 83

一句话总结

该论文提出了一种基于递归采样岭杠杆率的线性时间Nystroem方法，实现了无需正则性或非相干性假设的可证明准确的核近似。与经典Nystroem方法和随机傅里叶特征相比，该方法将核计算量减少到O(ns)，运行时间降低到O(ns²)，在准确性和速度上均表现出优越性能。

ABSTRACT

We give the first algorithm for kernel Nystrom approximation that runs in linear time in the number of training points and is provably accurate for all kernel matrices, without dependence on regularity or incoherence conditions. The algorithm projects the kernel onto a set of s landmark points sampled by their ridge leverage scores, requiring just O(ns) kernel evaluations and O(ns^2) additional runtime. While leverage score sampling has long been known to give strong theoretical guarantees for Nystrom approximation, by employing a fast recursive sampling scheme, our algorithm is the first to make the approach scalable. Empirically we show that it finds more accurate kernel approximations in less time than popular techniques such as classic Nystrom approximation and the random Fourier features method.

研究动机与目标

• 解决缺乏可证明准确且可扩展的Nystroem方法的问题，这些方法不依赖于核正则性或非相干性等限制性假设。
• 开发一种实用算法，在保持理论保证的同时能够高效扩展至大规模数据集。
• 通过引入递归采样方案，克服传统杠杆率采样在核近似中计算不可行的问题。
• 在近似准确性和运行时间效率两方面，优于现有的经典Nystroem方法和随机傅里叶特征。

提出的方法

• 使用已知能为Nystroem近似提供强理论保证的岭杠杆率采样s个地标点。
• 采用递归采样策略高效计算岭杠杆率，避免对完整SVD或昂贵矩阵运算的需求。
• 将核矩阵投影到所选的地标点上，从而减小问题规模，同时保持近似的质量。
• 将核计算量限制在O(ns)，额外计算量为O(ns²)，实现训练样本数量上的线性时间复杂度。
• 在采样过程中采用迭代精炼策略，在最小化计算开销的同时保持准确性。
• 通过证明该方法对所有核矩阵均保持准确性，确保理论正确性，无论其结构假设如何。

实验结果

研究问题

• RQ1 能否在不牺牲理论保证的前提下，使岭杠杆率采样在大规模核近似中实现可扩展性？
• RQ2 与标准方法相比，递归采样岭杠杆率是否能带来更快且更准确的Nystroem近似？
• RQ3 该算法是否能在保持所有核矩阵（包括违反正则性或非相干性条件的核矩阵）准确性的前提下实现线性时间复杂度？
• RQ4 与经典Nystroem方法和随机傅里叶特征相比，该方法在运行时间和近似误差方面的实证表现如何？

主要发现

• 所提出的算法在训练样本数量上具有线性时间复杂度O(ns)，使其可扩展至大规模数据集。
• 该方法对所有核矩阵均实现了可证明准确的核近似，无需依赖正则性或非相干性假设。
• 该方法将核计算量减少到O(ns)，与完整矩阵计算相比显著降低了计算成本。
• 实证结果表明，该算法生成的核近似比经典Nystroem方法和随机傅里叶特征更准确。
• 递归采样方案实现了岭杠杆率的高效计算，使理论上最优的采样在大规模学习中变得实际可行。
• 该算法在速度和准确性两方面均优于现有方法，展现出强大的实际应用价值。