[论文解读] Provably Useful Kernel Matrix Approximation in Linear Time.

Cameron Musco, Christopher Musco|arXiv (Cornell University)|May 24, 2016

Tensor decomposition and applications被引用 5

一句话总结

本文提出了首个针对下游任务（如核主成分分析、k-means、岭回归和CCA）具有可证明保证的线性时间核矩阵近似算法。它引入了一种快速递归采样方法——岭杠杆度数Nyström（RLS-Nyström），实现$\tilde{O}(n \times k)$次核评估和$\tilde{O}(n \times k^2)$的运行时间，且无需对核函数的正则性做任何假设。

ABSTRACT

We give the first algorithms for kernel matrix approximation that run in time linear in the number of data points and output an approximation which gives provable guarantees when used in many downstream learning tasks, including kernel principal component analysis, kernel $k$-means clustering, kernel ridge regression, and kernel canonical correlation analysis. Our methods require just $ ilde O(n\cdot k)$ kernel evaluations and $ ilde O(n \cdot k^2)$ additional runtime, where $n$ is the number of training data points and $k$ is a target rank or effective dimensionality parameter. These runtimes are significantly sub-linear in the size of the $n imes n$ kernel matrix and apply to any kernel matrix, without assuming regularity or incoherence conditions. The algorithms are based on a ridge leverage score Nystr\om sampling scheme (RLS-Nystr\om) which was recently shown to yield strong kernel approximations, but which had no efficient implementation. We address this shortcoming by introducing fast recursive sampling methods for RLS-Nystr\om, while at the same time proving extended approximation guarantees for this promising new method.

研究动机与目标

• 为解决缺乏高效且可证明准确的线性规模核矩阵近似算法的问题。
• 通过降低核矩阵构建的计算成本，使核方法在大规模学习中具备实际可部署性。
• 在不依赖核函数正则性或非相干性假设的前提下，为RLS-Nyström采样在下游核学习任务中提供理论保证。
• 设计一种递归采样方案，以实现RLS-Nyström的高效计算，同时保持强大的近似质量。

提出的方法

• 该方法采用岭杠杆度数Nyström（RLS-Nyström）采样方案，选择锚点以实现核矩阵近似。
• 提出一种递归采样策略，以线性时间高效计算岭杠杆度数。
• 该算法执行$\tilde{O}(n \times k)$次核评估和$\tilde{O}(n \times k^2)$的额外计算，实现与数据规模成线性关系的运行时间。
• 该方法与核函数无关，适用于任意核矩阵，无需依赖诸如非相干性或正则性等结构假设。
• 理论分析扩展了RLS-Nyström的近似保证，表明其在多种核学习任务中均表现优异。

实验结果

研究问题

• RQ1 我们能否设计一种核矩阵近似算法，使其运行时间呈线性，同时保持强大的理论保证？
• RQ2 能否在不牺牲近似质量的前提下，高效地在大规模场景中实现岭杠杆度数Nyström采样？
• RQ3 所提出的方法是否能为核PCA和核岭回归等多样化下游核方法提供可证明的性能保证？
• RQ4 该算法能否在不依赖核结构或正则性假设的前提下，应用于任意核矩阵？

主要发现

• 所提算法实现$\tilde{O}(n \times k)$次核评估和$\tilde{O}(n \times k^2)$的运行时间，与数据点数量呈线性扩展。
• 该方法为核主成分分析、核$k$-均值、核岭回归和核CCA提供了可证明的近似保证。
• 递归采样技术实现了岭杠杆度数的高效计算，克服了RLS-Nyström部署中的关键瓶颈。
• 该方法可普遍应用于任意核矩阵，无需满足非相干性或正则性条件。