[论文解读] Sharp analysis of low-rank kernel matrix approximations

Francis Bach|arXiv (Cornell University)|Aug 9, 2012

Sparse and Compressive Sensing Techniques参考文献 41被引用 80

一句话总结

本文提供了尖锐的理论分析，表明对于核岭回归，使用随机选取的列子集对核矩阵进行低秩近似时，当秩 $ p $ 与问题的自由度呈线性关系时，其预测性能与完整核矩阵相当。该方法实现了次二次时间复杂度 $ O(p^2n) $，同时对任意给定的问题实例保持统计精度，而不仅限于最坏情况。

ABSTRACT

We consider supervised learning problems within the positive-definite kernel framework, such as kernel ridge regression, kernel logistic regression or the support vector machine. With kernels leading to infinite-dimensional feature spaces, a common practical limiting difficulty is the necessity of computing the kernel matrix, which most frequently leads to algorithms with running time at least quadratic in the number of observations n, i.e., O(n^2). Low-rank approximations of the kernel matrix are often considered as they allow the reduction of running time complexities to O(p^2 n), where p is the rank of the approximation. The practicality of such methods thus depends on the required rank p. In this paper, we show that in the context of kernel ridge regression, for approximations based on a random subset of columns of the original kernel matrix, the rank p may be chosen to be linear in the degrees of freedom associated with the problem, a quantity which is classically used in the statistical analysis of such methods, and is often seen as the implicit number of parameters of non-parametric estimators. This result enables simple algorithms that have sub-quadratic running time complexity, but provably exhibit the same predictive performance than existing algorithms, for any given problem instance, and not only for worst-case situations.

研究动机与目标

• 确定低秩核矩阵近似是否能在不牺牲统计精度的前提下，实现与完整核方法相同的预测性能。
• 确定在核岭回归中，为保持预测等价性，所需的最低秩 $ p $ 是多少。
• 突破最坏情况分析的局限，将计算复杂度与问题特定的统计量（如自由度）联系起来。
• 开发具有次二次时间复杂度的实际算法，且对任意给定问题实例，其结果在理论上等价于标准核方法。

提出的方法

• 本文分析了从核矩阵中随机采样列作为低秩近似的策略，通过随机选取 $ p $ 列来构建低秩近似。
• 建立了基于问题自由度的低秩近似预测误差的理论界。
• 关键技术在于通过自由度将近似误差与问题的有效维度联系起来，其中自由度起到隐式参数计数的作用。
• 采用两阶段方法：首先通过随机列采样近似核矩阵，然后在固定设计最小二乘回归的背景下分析由此产生的预测误差。
• 推导出所需秩 $ p $ 的界，其与自由度呈线性关系，从而确保预测性能无损失。
• 该方法被应用于多种核类，包括Sobolev核和周期核，通过渐近特征值与特征向量分析验证了理论结论。

实验结果

研究问题

• RQ1 在核岭回归中，低秩核矩阵近似达到与完整核矩阵相同预测性能所需的最低秩 $ p $ 是多少？
• RQ2 核岭回归问题的自由度能否作为确定所需近似秩的问题相关代理指标？
• RQ3 列采样方法在低秩近似中是否能在所有问题实例中保持统计精度，而不仅限于最坏情况？
• RQ4 所需秩 $ p $ 如何随自由度变化？这是否能实现次二次时间复杂度，同时保持预测性能？
• RQ5 能否推导出反映特定问题实例实际行为而非最坏情况的近似误差理论界？

主要发现

• 低秩核近似所需的秩 $ p $ 与问题的自由度呈线性关系，而自由度是有效模型复杂度的问题相关度量。
• 对于任意给定的问题实例，当 $ p $ 与自由度呈线性关系时，低秩近似可达到与完整核矩阵相同的预测性能。
• 运行时间复杂度降低至 $ O(p^2n) $，该复杂度在 $ n $ 上为次二次，从而实现了可扩展的核方法。
• 该分析适用于所有问题实例，而不仅限于最坏情况或平均情况，提供了实例特定的保证。
• 该方法通过依赖随机列采样避免了显式计算核矩阵，从而实现了高效且精确的预测。
• 针对特定核类（如Sobolev核和周期核）推导出理论界，表明近似误差能随自由度和特征值衰减的适当方式而变化。