[论文解读] Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees

Haim Avron, Michael Kapralov+4 more|arXiv (Cornell University)|Apr 26, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用 27

一句话总结

本文首次对随机傅里叶特征（RFF）在核岭回归（KRR）中的谱逼近进行了分析，表明在合理假设下，RFF可被证明加速KRR。此外，研究进一步表明，与均匀随机特征相比，基于核杠杆度量的采样分布能提供更优的理论保证，尤其在低维有界数据集上表现更佳，对高斯核实现了近乎完整的表征，并提出了一种高效采样方案，其性能优于标准RFF。

ABSTRACT

Random Fourier features is one of the most popular techniques for scaling up kernel methods, such as kernel ridge regression. However, despite impressive empirical results, the statistical properties of random Fourier features are still not well understood. In this paper we take steps toward filling this gap. Specifically, we approach random Fourier features from a spectral matrix approximation point of view, give tight bounds on the number of Fourier features required to achieve a spectral approximation, and show how spectral matrix approximation bounds imply statistical guarantees for kernel ridge regression. Qualitatively, our results are twofold: on the one hand, we show that random Fourier feature approximation can provably speed up kernel ridge regression under reasonable assumptions. At the same time, we show that the method is suboptimal, and sampling from a modified distribution in Fourier space, given by the leverage function of the kernel, yields provably better performance. We study this optimal sampling distribution for the Gaussian kernel, achieving a nearly complete characterization for the case of low-dimensional bounded datasets. Based on this characterization, we propose an efficient sampling scheme with guarantees superior to random Fourier features in this regime.

研究动机与目标

• 理解随机傅里叶特征（RFF）在核岭回归（KRR）中的统计与算法性质，尽管其在实践中表现强劲，但这些性质尚不明确。
• 从谱矩阵逼近的角度分析RFF，重点关注为实现核矩阵的谱逼近所需特征数量。
• 在合理假设下证明RFF可被证明加速KRR，同时识别其非最优性。
• 提出并分析一种基于核杠杆度量的改进采样分布，其理论性能优于标准RFF。
• 对低维有界数据集中高斯核的最优采样分布提供近乎完整的表征，从而导出一种实用且可证明更优的采样方案。

提出的方法

• 本文通过谱矩阵逼近的视角分析RFF，建立实现正则化核矩阵 $\mathbf{K} + \lambda \mathbf{I}$ 谱逼近所需特征数量的边界。
• 推导出实现 $ (1 - \Delta)(\mathbf{K} + \lambda \mathbf{I}) \preceq \widetilde{\mathbf{K}} + \lambda \mathbf{I} \preceq (1 + \Delta)(\mathbf{K} + \lambda \mathbf{I}) $ 的特征数 $s$ 的上下界，该不等式可直接导出KRR的统计保证。
• 提出一种傅里叶空间中的改进采样分布，该分布基于核的杠杆函数，以提升逼近质量。
• 针对高斯核，本文在低维有界数据环境下，对最优杠杆度采样分布提供了近乎完整的表征。
• 基于该表征，提出一种高效采样方案，其在谱逼近质量与估计器风险方面均优于标准RFF。
• 理论结果通过在合成数据与真实数据集上的实证验证予以支持，比较了RFF、所提方法（MRF）与精确KRR在风险、样本内误差与条件数方面的表现。

实验结果

研究问题

• RQ1 在核岭回归中，为实现正则化核矩阵的谱逼近，需要多少随机傅里叶特征？
• RQ2 能否利用核矩阵的谱逼近界推导出KRR估计器的统计保证？
• RQ3 标准随机傅里叶特征采样是否次优？若是，能否构造出更优的采样分布？
• RQ4 基于核杠杆度的采样方案在理论上表现如何，特别是针对高斯核？
• RQ5 正则化核矩阵对 $ (\mathbf{K} + \lambda \mathbf{I}, \widetilde{\mathbf{K}} + \lambda \mathbf{I}) $ 的广义条件数与估计器质量有何关系？其预测性能是否优于逐元素误差？

主要发现

• 本文建立了实现正则化核矩阵谱逼近所需随机傅里叶特征数的上界，该上界可直接确保核岭回归的统计保证。
• 针对高斯核，证明了匹配的下界，表明该上界在对数因子范围内是紧致的。
• 所提方法（基于核杠杆度采样，记为MRF）在过剩风险方面显著优于标准RFF，即使在RFF具有更优逐元素逼近误差时亦如此。
• 实证结果表明，MRF的风险能快速收敛至精确KRR的风险，而RFF的风险即使在 $ s > n $ 时仍停滞不前，尽管其逐元素误差更优。
• 正则化矩阵对 $ (\mathbf{K} + \lambda \mathbf{I}, \widetilde{\mathbf{K}} + \lambda \mathbf{I}) $ 的广义条件数是估计器质量的强预测指标，MRF在所有情况下均显著低于RFF。
• 对于低维有界数据集上的高斯核，本文对最优杠杆度采样分布提供了近乎完整的表征，从而实现了实用且可证明更优的采样方案。