[论文解读] Random Features for Kernel Approximation: A Survey on Algorithms, Theory, and Beyond

Fanghui Liu, Xiaolin Huang+2 more|arXiv (Cornell University)|Apr 23, 2020

Machine Learning and Data Classification参考文献 178被引用 20

一句话总结

本综述全面概述了用于核近似的随机特征，涵盖算法、理论以及与深度学习的关联。在大规模数据集上评估了RFF、ORF和SSF等方法，结果表明，结构化随机特征在保持强大泛化性能的同时，实现了更优的近似质量与具有竞争力的推理速度。

ABSTRACT

Random features is one of the most popular techniques to speed up kernel methods in large-scale problems. Related works have been recognized by the NeurIPS Test-of-Time award in 2017 and the ICML Best Paper Finalist in 2019. The body of work on random features has grown rapidly, and hence it is desirable to have a comprehensive overview on this topic explaining the connections among various algorithms and theoretical results. In this survey, we systematically review the work on random features from the past ten years. First, the motivations, characteristics and contributions of representative random features based algorithms are summarized according to their sampling schemes, learning procedures, variance reduction properties and how they exploit training data. Second, we review theoretical results that center around the following key question: how many random features are needed to ensure a high approximation quality or no loss in the empirical/expected risks of the learned estimator. Third, we provide a comprehensive evaluation of popular random features based algorithms on several large-scale benchmark datasets and discuss their approximation quality and prediction performance for classification. Last, we discuss the relationship between random features and modern over-parameterized deep neural networks (DNNs), including the use of high dimensional random features in the analysis of DNNs as well as the gaps between current theoretical and empirical results. This survey may serve as a gentle introduction to this topic, and as a users' guide for practitioners interested in applying the representative algorithms and understanding theoretical results under various technical assumptions. We hope that this survey will facilitate discussion on the open problems in this topic, and more importantly, shed light on future research directions.

研究动机与目标

• 系统回顾过去十年中用于核近似的随机特征方法。
• 阐明各类算法、其采样方案、方差缩减技术以及数据利用策略之间的关联。
• 分析为保持高近似质量和泛化性能所需随机特征数量的理论边界。
• 在大规模基准数据集上评估代表性算法在分类任务中的经验性能。
• 探讨随机特征与过参数化深度神经网络之间的关系，包括理论与实证之间的差距。

提出的方法

• 根据采样方案（如i.i.d.、结构化、准蒙特卡洛）、学习过程和方差缩减技术对随机特征算法进行分类。
• 回顾关于确保低经验风险和期望风险所需随机特征数量的理论结果，重点关注泛化边界。
• 在多个大规模数据集（如MNIST-8M、covtype、letter）上采用统一的评估框架，使用核岭回归和逻辑回归进行评估。
• 提出并评估结构化随机特征（如ORF、SORF、SSF），通过利用结构化采样模式提升近似精度。
• 将双重随机框架应用于数据流处理，以在内存受限条件下处理超大规模数据集（如MNIST-8M）。
• 通过近似误差、训练/测试误差和总时间成本等指标，比较RFF、Fastfood、QMC、GQ和LS-RFF等方法在时间与精度之间的权衡。

实验结果

研究问题

• RQ1 不同随机特征采样方案（如i.i.d.、结构化、准蒙特卡洛）在近似质量和计算效率方面如何比较？
• RQ2 在核近似中，为实现低泛化误差，所需随机特征数量的理论边界是什么？
• RQ3 随机特征方法在不同核类型（高斯核、弧余弦核、多项式核）和数据集上的大规模分类任务中，实证性能如何？
• RQ4 随机特征与过参数化深度神经网络之间存在何种关系？随机特征理论如何为DNN分析提供启示？
• RQ5 在随机特征与深度学习设置中，理论预测与实证结果之间存在哪些关键差距？

主要发现

• 在MNIST-8M数据集上，ORF和SORF在高斯核下的近似误差最低（0.0041），优于RFF（0.0126）和Fastfood（0.0159）。
• 对于零阶弧余弦核，ORF和SORF的近似误差最佳（分别为0.0224和0.0231），而RM表现较差（0.0448），原因在于其对多项式类核的采样方案不够优化。
• SSF在高斯核下实现了最佳近似误差（0.0078），尽管ORF和SORF略高，但时间成本稍高，仍具竞争力。
• 在弧余弦核上，ORF和SORF在各数据集上表现一致，arccos0的测试误差约为2.7%，arccos1的测试误差约为1.5%，优于RM和Fastfood。
• 时间成本差异显著：LS-RFF在高斯核下最慢（15,725秒），而SORF在arccos1下最快（8,861.6秒），表明精度与速度之间存在权衡。
• 尽管某些情况下近似误差较高（如RM在arccos0下为0.0448），但RM因基于Maclaurin展开的采样方式计算高效，适用于低延迟应用场景。