[论文解读] Towards A Unified Analysis of Random Fourier Features

Zhu Li, Jean-François Ton+2 more|Research Portal (King's College London)|Jun 24, 2018

Sparse and Compressive Sensing Techniques参考文献 39被引用 4

一句话总结

本文首次针对使用平方误差和Lipschitz连续损失函数的随机傅里叶特征学习，提出了统一的风险分析。它在正则化和有效自由度的框架下，建立了计算成本与风险收敛速率之间的任务特定权衡，改进了现有边界，并提出了一种基于岭杠杆度的、具有可证明高效近似方案的数据相关采样方法。

ABSTRACT

Random Fourier features is a widely used, simple, and effective technique for scaling up kernel methods. The existing theoretical analysis of the approach, however, remains focused on specific learning tasks and typically gives pessimistic bounds which are at odds with the empirical results. We tackle these problems and provide the first unified risk analysis of learning with random Fourier features using the squared error and Lipschitz continuous loss functions. In our bounds, the trade-off between the computational cost and the expected risk convergence rate is problem specific and expressed in terms of the regularization parameter and the \emph{number of effective degrees of freedom}. We study both the standard random Fourier features method for which we improve the existing bounds on the number of features required to guarantee the corresponding minimax risk convergence rate of kernel ridge regression, as well as a data-dependent modification which samples features proportional to \emph{ridge leverage scores} and further reduces the required number of features. As ridge leverage scores are expensive to compute, we devise a simple approximation scheme which provably reduces the computational cost without loss of statistical efficiency.

研究动机与目标

• 解决随机傅里叶特征理论边界过于悲观与实际性能强劲之间的差距。
• 统一不同学习任务下随机傅里叶特征的理论分析。
• 推导计算成本与期望风险收敛速率之间的任务特定权衡。
• 改进核岭回归最小最大风险收敛所需特征数的边界。
• 开发一种数据相关采样方法，以减少所需特征数，同时保持统计效率。

提出的方法

• 提出一种统一的风险分析框架，用于基于平方误差和Lipschitz连续损失函数的随机傅里叶特征。
• 以正则化参数和有效自由度表示计算成本与风险收敛速率之间的权衡。
• 分析标准随机傅里叶特征方法，并改进现有文献中关于实现最小最大风险收敛所需特征数的边界。
• 提出一种数据相关变体，通过按岭杠杆度成比例采样特征以减少特征数量。
• 设计一种可证明高效的岭杠杆度近似方案，以降低计算成本，同时不损失统计性能。
• 利用集中不等式和谱分析，在核函数与数据分布满足弱假设的条件下推导泛化边界。

实验结果

研究问题

• RQ1 如何在不同学习任务之间发展统一的随机傅里叶特征理论分析？
• RQ2 随机傅里叶特征学习中，计算成本与期望风险收敛速率之间的精确权衡是什么？
• RQ3 是否可以在保持核岭回归最小最大风险收敛的前提下，减少所需特征数？
• RQ4 基于岭杠杆度的数据相关采样相比标准i.i.d.采样，如何提升特征效率？
• RQ5 能否设计一种高效的岭杠杆度近似方法，在保持统计性能的同时降低计算成本？

主要发现

• 本文改进了现有文献中关于实现核岭回归最小最大风险收敛速率所需随机傅里叶特征数量的边界。
• 基于岭杠杆度的数据相关采样方法相比标准i.i.d.采样，显著减少了所需特征数量。
• 所提出的岭杠杆度近似方案可证明地降低了计算成本，且不损失统计效率。
• 统一的风险分析以正则化参数和有效自由度为指标，表达了计算成本与风险收敛速率之间的权衡。
• 实验结果证实，数据相关方法在更少特征下实现了更低风险，与理论预测一致。