[论文解读] On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees

Shahin Shahrampour, Soheil Kolouri|arXiv (Cornell University)|Mar 20, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用 6

一句话总结

本文提出使用经验杠杆度数对随机特征进行采样以实现核近似，通过更少的特征实现更优的泛化性能。该方法提供了理论保证，揭示了核近似误差与特征值衰减之间的权衡关系，优于蒙特卡洛采样方法，并在不使用标签的情况下接近有监督方法的性能。

ABSTRACT

Random features provide a practical framework for large-scale kernel approximation and supervised learning. It has been shown that data-dependent sampling of random features using leverage scores can significantly reduce the number of features required to achieve optimal learning bounds. Leverage scores introduce an optimized distribution for features based on an infinite-dimensional integral operator (depending on input distribution), which is impractical to sample from. Focusing on empirical leverage scores in this paper, we establish an out-of-sample performance bound, revealing an interesting trade-off between the approximated kernel and the eigenvalue decay of another kernel in the domain of random features defined based on data distribution. Our experiments verify that the empirical algorithm consistently outperforms vanilla Monte Carlo sampling, and with a minor modification the method is even competitive to supervised data-dependent kernel learning, without using the output (label) information.

研究动机与目标

• 为解决原始蒙特卡洛采样在随机特征方法中的局限性，该方法通常需要大量特征才能获得良好性能。
• 开发一种实用且依赖数据的采样方案，利用经验杠杆度数，避免处理难以计算的无穷维积分算子。
• 建立对泛化性能的理论边界，揭示近似误差与特征值衰减之间的权衡关系。
• 通过实证结果表明，该方法优于蒙特卡洛采样，且在不使用标签信息的情况下可与有监督的数据依赖方法相媲美。

提出的方法

• 该方法利用从数据矩阵中计算出的经验杠杆度数来定义随机特征的非均匀采样分布。
• 借助谱近似理论和矩阵集中不等式来界定泛化误差。
• 理论分析结合了[13]关于近似误差的结果和[16]关于岭杠杆函数的结果，推导出性能边界。
• 该算法从杠杆度数分布的有限维近似中采样特征，使其计算上可行。
• 提出了一种改进的采样方案，进一步提升了性能，使其接近有监督的数据依赖方法。
• 理论边界通过G-利普希茨连续性和核估计器方差控制推导得出。

实验结果

研究问题

• RQ1 能否利用经验杠杆度数提升随机特征方法在核近似中的采样效率？
• RQ2 基于经验杠杆度数的随机特征采样，其理论泛化性能如何？
• RQ3 经验杠杆度数采样与原始蒙特卡洛采样相比性能如何？
• RQ4 经验杠杆度数采样能否在不使用标签的情况下实现与有监督数据依赖方法相媲美的性能？
• RQ5 该框架中泛化误差的权衡关系由什么决定？

主要发现

• 所提出的方法在实际数据集上的泛化性能上始终优于原始蒙特卡洛采样。
• 对采样方案进行微小修改后，该方法在不使用标签信息的情况下，性能可与有监督的数据依赖核学习方法相媲美。
• 理论分析揭示了在随机特征空间中定义的核的近似误差与特征值衰减速率之间的权衡关系。
• 期望泛化误差被界定为 $ \mathbb{E}[e_{2}] \leq 4G\sqrt{\Delta F\mathbb{E}_{d\tau}\left[\frac{\lambda}{\sigma_{M_{0}}(\mathbf{G})}\right]} $，显示出对特征值衰减的依赖性。
• 对 $ e_3 $ 的边界为 $ \mathbb{E}[e_3] \leq G8\sqrt{\lambda} $，反映了正则化参数对误差的影响。
• 分析证实，经验杠杆度数为理论杠杆度数提供了一种实用且理论基础坚实的替代方案，使随机特征采样更加高效和有效。