[论文解读] Simple and Almost Assumption-Free Out-of-Sample Bound for Random Feature Mapping

Shusen Wang|arXiv (Cornell University)|Sep 24, 2019

Gaussian Processes and Bayesian Inference参考文献 35被引用 4

一句话总结

本文为核岭回归中的随机特征映射（RFM-KRR）建立了一个简单、无需假设的样本外误差界，表明在仅对随机特征映射施加温和且可检验的假设下，预测结果以 1/s 的速率收敛至精确 KRR 的结果。该误差界近乎最优，经由匹配的下界和在多个数据集与核函数上的实证验证得以证实。

ABSTRACT

Random feature mapping (RFM) is a popular method for speeding up kernel methods at the cost of losing a little accuracy. We study kernel ridge regression with random feature mapping (RFM-KRR) and establish novel out-of-sample error upper and lower bounds. While out-of-sample bounds for RFM-KRR have been established by prior work, this paper's theories are highly interesting for two reasons. On the one hand, our theories are based on weak and valid assumptions. In contrast, the existing theories are based on various uncheckable assumptions, which makes it unclear whether their bounds are the nature of RFM-KRR or simply the consequence of strong assumptions. On the other hand, our analysis is completely based on elementary linear algebra and thereby easy to read and verify. Finally, our experiments lend empirical supports to the theories.

研究动机与目标

• 为 RFM-KRR 提供一个不依赖于数据或核函数的不可检验假设的泛化误差界。
• 在仅对随机特征映射施加弱且可验证假设的前提下，建立 RFM-KRR 样本外预测误差的紧致上界。
• 推导一个匹配的下界，以证明该上界近乎最优。
• 在多个数据集和核类型（RBF、Laplace）上对理论结果进行实证验证。
• 提供一种基于基础线性代数、理论基础扎实且易于验证与理解的分析方法。

提出的方法

• 分析基于基础线性代数与随机矩阵理论，推导出 RFM-KRR 与精确 KRR 预测之间期望平方误差的上界。
• 关键上界表达为 $ \frac{1}{s} \left\| \mathbf{K}^{1/2} (\mathbf{K} + n\lambda \mathbf{I}_n)^{-1} \mathbf{y} \right\|_2^2 $，其中 $ s $ 为随机特征的数量。
• 该上界在随机特征映射为无偏且有界的假设下推导得出，该条件由诸如随机傅里叶特征和随机符号特征等流行方法满足。
• 建立了与上界近乎匹配的下界，表明结果在理论上具有紧致性。
• 实证验证通过在真实数据集（MSD、Cadata、Cpusmall、Covtype）上重复进行随机特征映射实现，测量均方误差（MSE）随 $ s $ 的变化，并与理论界进行比较。
• 计算了在不同 $ n $ 和 $ \lambda $ 下，理论界与实测 MSE 的比值，验证了其紧致性。

实验结果

研究问题

• RQ1 能否在不依赖于对数据或核函数的强不可检验假设的前提下，为 RFM-KRR 推导出泛化误差界？
• RQ2 RFM-KRR 预测结果向精确 KRR 预测结果收敛的速率，以随机特征数 $ s $ 表示时是多少？
• RQ3 所提出的样本外误差上界是否接近最优？
• RQ4 与真实世界数据集中的实测误差相比，理论误差界有多紧？
• RQ5 能否将理论分析保持在简单且基于基础线性代数的框架内，以确保可读性与可验证性？

主要发现

• RFM-KRR 的样本外预测误差以 $ \frac{1}{s} $ 的速率收敛至精确 KRR 的误差，与定理 1 的预测一致。
• 均方误差的上界为 $ \frac{1}{s} \left\| \mathbf{K}^{1/2} (\mathbf{K} + n\lambda \mathbf{I}_n)^{-1} \mathbf{y} \right\|_2^2 $，由于存在匹配的下界，该上界近乎最优。
• 实证结果在多个数据集和核类型上均确认了 $ \frac{1}{s} $ 的收敛速率，且外推得到的理论界与实际 MSE 密切匹配。
• 理论界未显著高估真实误差，尤其在 $ \lambda \geq \frac{1}{\sqrt{n}} $ 时表现更强的紧致性。
• 分析仅基于可检验的假设——即随机特征映射为无偏且有界——使得结果具有广泛适用性。
• 整个理论框架仅依赖于基础线性代数，相比以往使用复杂随机矩阵理论的研究，显著提升了清晰度与可验证性。