[论文解读] Randomized sketches for kernels: Fast and optimal non-parametric regression

Yun Yang, Mert Pilancı+1 more|arXiv (Cornell University)|Jan 25, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用 18

一句话总结

本文提出了一种随机化压缩方法，通过使用随机投影将核矩阵投影到低维子空间，以加速核岭回归（KRR）。证明了当压缩维度 $ m $ 与统计维数 $ d_n $ 成比例（最多包含对数因子）时，可保持极小化极大最优性，从而实现计算快速且最优的非参数回归，时间复杂度从 $ \mathcal{O}(n^3) $ 降低至 $ \mathcal{O}(m^3) $。

ABSTRACT

Kernel ridge regression (KRR) is a standard method for performing non-parametric regression over reproducing kernel Hilbert spaces. Given $n$ samples, the time and space complexity of computing the KRR estimate scale as $\mathcal{O}(n^3)$ and $\mathcal{O}(n^2)$ respectively, and so is prohibitive in many cases. We propose approximations of KRR based on $m$-dimensional randomized sketches of the kernel matrix, and study how small the projection dimension $m$ can be chosen while still preserving minimax optimality of the approximate KRR estimate. For various classes of randomized sketches, including those based on Gaussian and randomized Hadamard matrices, we prove that it suffices to choose the sketch dimension $m$ proportional to the statistical dimension (modulo logarithmic factors). Thus, we obtain fast and minimax optimal approximations to the KRR estimate for non-parametric regression.

研究动机与目标

• 为解决核岭回归（KRR）的高计算成本问题，其时间复杂度为 $ \mathcal{O}(n^3) $，空间复杂度为 $ \mathcal{O}(n^2) $（$ n $ 个样本）。
• 开发一种计算高效的 KRR 近似方法，同时保持统计上的极小化极大最优性。
• 确定使近似 KRR 估计器保持极小化极大最优性的最小压缩维度 $ m $。
• 分析多种压缩矩阵（包括高斯矩阵和随机化哈达玛矩阵）在保持统计最优性方面的性能。

提出的方法

• 使用维度 $ m \ll n $ 的随机压缩，对 $ n \times n $ 的核矩阵进行近似，将行和列子空间投影到 $ m $-维子空间中。
• 使用随机投影矩阵（如高斯矩阵）或结构化矩阵（如随机化哈达玛变换）构建压缩。
• 将近似 KRR 估计器表述为一个更小的 $ m $-维二次规划问题的解，从而将时间复杂度降低至 $ \mathcal{O}(m^3) $。
• 通过将压缩维度 $ m $ 与统计维数 $ d_n $（即核矩阵的有效秩）关联，建立理论保证。
• 利用集中不等式和矩阵切尔诺夫界控制压缩误差的算子范数，确保稳定性与极小化极大最优性。
• 证明在对压缩矩阵施加弱条件时，$ m = \mathcal{O}(d_n \log n) $ 即足以实现极小化极大最优性。

实验结果

研究问题

• RQ1 为在核岭回归中保持极小化极大最优性，所需的最小压缩维度 $ m $ 是多少？
• RQ2 基于高斯矩阵或结构化矩阵（如随机化哈达玛矩阵）的随机压缩方法，是否可在 $ m \ll n $ 的条件下实现极小化极大最优性能？
• RQ3 核矩阵的统计维数 $ d_n $ 与实现最优估计所需的压缩尺寸之间有何关系？
• RQ4 在不牺牲统计效率的前提下，通过压缩可将 KRR 的计算复杂度降低多少？

主要发现

• 压缩维度 $ m $ 可选择为与统计维数 $ d_n $ 成比例（最多包含对数因子），同时保持 KRR 估计器的极小化极大最优性。
• 对于高斯矩阵和随机化哈达玛压缩矩阵，当 $ m = \mathcal{O}(d_n \log n) $ 时，该方法可实现极小化极大最优预测风险。
• 理论分析确认，通过测度集中与矩阵切尔诺夫界，压缩误差可以高概率被控制。
• 时间复杂度从 $ \mathcal{O}(n^3) $ 降低至 $ \mathcal{O}(m^3) $，空间复杂度从 $ \mathcal{O}(n^2) $ 降低至 $ \mathcal{O}(m^2) $，从而支持大规模应用。
• 该方法可轻松实现并行化，预处理复杂度为 $ \mathcal{O}(n^2 \log m) $，可分布到最多 $ t \leq n $ 个集群中。