[论文解读] Random Feature Maps for Dot Product Kernels

Purushottam Kar, Harish Karnick|arXiv (Cornell University)|Jan 31, 2012

Face and Expression Recognition参考文献 14被引用 121

一句话总结

本文提出了一种用于点积核的新型随机特征映射，利用调和分析将非线性特征空间嵌入低维欧几里得空间，且失真度较低。通过将Rahimi和Recht的工作从平移不变核扩展至一般点积核，该方法在使用更少随机特征的情况下，相比基线方法显著降低了训练和测试时间，同时实现了高精度分类。

ABSTRACT

Approximating non-linear kernels using feature maps has gained a lot of interest in recent years due to applications in reducing training and testing times of SVM classifiers and other kernel based learning algorithms. We extend this line of work and present low distortion embeddings for dot product kernels into linear Euclidean spaces. We base our results on a classical result in harmonic analysis characterizing all dot product kernels and use it to define randomized feature maps into explicit low dimensional Euclidean spaces in which the native dot product provides an approximation to the dot product kernel with high confidence.

研究动机与目标

• 解决核方法中的'支持集诅咒'问题，即由于昂贵的核计算导致大规模支持集使预测变慢。
• 通过调和分析，将随机特征映射从平移不变核扩展至一般点积核。
• 开发一种显式、低维嵌入，以高概率保持核相似性。
• 通过在低维空间中用显式特征映射替代隐式核计算，提升核方法的效率。

提出的方法

• 利用调和分析中的经典结果，将所有点积核表征为特征映射的内积。
• 构建一个随机特征映射 Z: Rd → RD，使得 ⟨Z(x), Z(y)⟩ ≈ K(x, y) 以高概率成立。
• 采用改进的特征映射 H0/1，通过增加常数偏置项以提高近似精度。
• 基于核函数的傅里叶变换推导随机特征的分布。
• 应用Johnson-Lindenstrauss引理，确保内积近似中的低失真。
• 采用两阶段构造：首先从核函数的傅里叶变换中采样，然后通过 H0/1 实现偏置校正。

实验结果

研究问题

• RQ1 我们能否将随机特征映射从平移不变核扩展至一般点积核？
• RQ2 如何实现点积核在低维欧几里得空间中的低失真嵌入？
• RQ3 添加偏置项（H0/1）对近似精度和计算效率有何影响？
• RQ4 在实践中，随机特征的数量如何影响分类精度以及训练/测试速度？

主要发现

• 在使用少量随机特征时，H0/1 特征映射的分类精度显著高于标准随机特征映射（RF）。
• 平均而言，H0/1 仅需额外 d = 45 个特征（其中 d 为输入维度），即可实现更优性能。
• 在四个基准数据集（Spambase、Nursery、IJCNN、Cod-RNA）上，H0/1 在低 D 条件下均优于 RF 的精度，且随着 D 增大，差距逐渐缩小。
• 由于特征构造更快且可分性更好，H0/1 显著降低了训练和测试时间，尤其在低 D 时效果显著。
• 该方法在保持竞争性分类精度的同时，某些情况下将训练时间减少了数个数量级。
• 特征映射的构造在不同核类型（包括多项式核和指数核）上均表现出稳定性和泛化能力。