[论文解读] Quasi-Monte Carlo Feature Maps for Shift-Invariant Kernels

Haim Avron, Vikas Sindhwani+2 more|arXiv (Cornell University)|Dec 29, 2014

Mathematical Approximation and Integration参考文献 35被引用 65

一句话总结

本文提出使用准蒙特卡洛（QMC）序列替代蒙特卡洛采样来构建平移不变核的特征映射，显著提升了近似精度和收敛速度。通过最小化一种新型盒不一致度量，该方法实现了更低的积分误差和更快的核近似收敛速度，在理论和实践中均优于标准随机特征映射。

ABSTRACT

We consider the problem of improving the efficiency of randomized Fourier feature maps to accelerate training and testing speed of kernel methods on large datasets. These approximate feature maps arise as Monte Carlo approximations to integral representations of shift-invariant kernel functions (e.g., Gaussian kernel). In this paper, we propose to use Quasi-Monte Carlo (QMC) approximations instead, where the relevant integrands are evaluated on a low-discrepancy sequence of points as opposed to random point sets as in the Monte Carlo approach. We derive a new discrepancy measure called box discrepancy based on theoretical characterizations of the integration error with respect to a given sequence. We then propose to learn QMC sequences adapted to our setting based on explicit box discrepancy minimization. Our theoretical analyses are complemented with empirical results that demonstrate the effectiveness of classical and adaptive QMC techniques for this problem.

研究动机与目标

• 提升大规模核方法中用于平移不变核的随机特征映射的效率与精度。
• 用准蒙特卡洛（QMC）序列替代传统蒙特卡洛采样，以减少核近似中的积分误差。
• 提出一种专用于QMC特征映射构建中积分误差的新型不一致度量——盒不一致度。
• 通过最小化盒不一致度，学习自适应QMC序列，以提升特定核函数下的性能。
• 从理论上和实证上证明，基于QMC的特征映射在收敛速度和误差方面均优于蒙特卡洛方法。

提出的方法

• 提出使用准蒙特卡洛（QMC）方法近似平移不变核的积分表示，以低差异序列替代蒙特卡洛采样。
• 引入一种称为盒不一致度的新不一致度量，其基于核近似中积分误差的理论表征。
• 推导出QMC序列的期望平方盒不一致度的闭式表达式，从而支持基于优化的序列学习。
• 提出通过最小化盒不一致度来学习自适应QMC序列，以提升特定核函数的收敛性能。
• 利用该方法构建如高斯核等平移不变核的特征映射，并提供近似误差的理论保证。
• 采用复值特征映射，并利用Bochner表示法将核函数与傅里叶变换联系起来。

实验结果

研究问题

• RQ1 与蒙特卡洛采样相比，准蒙特卡洛（QMC）序列是否能降低平移不变核随机特征映射构建中的积分误差？
• RQ2 在核近似背景下，评估QMC序列的合适不一致度量是什么？如何实现其最小化？
• RQ3 与现有不一致度量相比，所提出的盒不一致度量在控制基于QMC的特征映射积分误差方面表现如何？
• RQ4 通过盒不一致度最小化学习得到的自适应QMC序列，是否能提升核近似的收敛速率和精度？
• RQ5 在随机特征映射中用QMC替代蒙特卡洛采样，能否在训练和测试速度与精度方面带来实际改进？

主要发现

• 由于使用了低差异序列而非随机采样，所提出的基于QMC的特征映射在积分误差方面优于蒙特卡洛方法。
• 引入盒不一致度提供了一种理论基础坚实的QMC序列评估度量，并推导出其期望平方不一致度的闭式表达式。
• 通过盒不一致度最小化学习得到的自适应QMC序列，在收敛速度和近似精度方面优于经典QMC序列和蒙特卡洛采样。
• 实证结果表明，基于QMC的特征映射在使用更少随机特征的情况下，可达到相当或更优的测试精度。
• 该方法可减少达到给定近似误差所需的随机特征数量，从而在大规模核方法中实现更快的训练和预测时间。
• 理论分析表明，QMC近似期望平方误差的衰减速率为$O(1/s)$，与蒙特卡洛方法相同，但因差异度更低，常数项更小。