[论文解读] Relative Error Embeddings for the Gaussian Kernel Distance

Di Chen, Jeff M. Phillips|arXiv (Cornell University)|Feb 17, 2016

Gaussian Processes and Bayesian Inference参考文献 14被引用 4

一句话总结

本文为近似高斯核距离的随机傅里叶特征（RFF）建立了紧致的相对误差界。证明了对于 $n$ 个点，$O((1/\/varepsilon^{2}) \log n)$ 个维度已足够；对于有界直径的数据，$O((d/\varepsilon^{2}) \log \mathcal{M})$ 个维度已足够，且通过实证验证表明，相对误差在不同带宽下保持稳定，并随特征数量增加而减小。

ABSTRACT

A reproducing kernel can define an embedding of a data point into an infinite dimensional reproducing kernel Hilbert space (RKHS). The norm in this space describes a distance, which we call the kernel distance. The random Fourier features (of Rahimi and Recht) describe an oblivious approximate mapping into finite dimensional Euclidean space that behaves similar to the RKHS. We show in this paper that for the Gaussian kernel the Euclidean norm between these mapped to features has $(1+\varepsilon)$-relative error with respect to the kernel distance. When there are $n$ data points, we show that $O((1/\varepsilon^2) \log(n))$ dimensions of the approximate feature space are sufficient and necessary. Without a bound on $n$, but when the original points lie in $\mathbb{R}^d$ and have diameter bounded by $\mathcal{M}$, then we show that $O((d/\varepsilon^2) \log(\mathcal{M}))$ dimensions are sufficient, and that this many are required, up to $\log(1/\varepsilon)$ factors.

研究动机与目标

• 建立理论界限，确定为保持高斯核距离中相对误差所需随机傅里叶特征的最小数量。
• 通过提供对所有点对均匀成立的界限，弥补先前工作中存在的空白，即使 $n$ 无界时也成立。
• 证明相对误差不仅在内积中被保持，也在完整的核距离度量中被保持。
• 通过实证验证，在核主成分分析和成对距离近似等实际应用中，相对误差随特征数量增加而保持稳定并减小。

提出的方法

• 使用各向同性高斯频率 $\omega_i \sim \mathcal{N}_d(0, \sigma^{-2})$ 和随机相位偏移 $\gamma_i \sim \text{Unif}(0, 2\pi)$ 的随机傅里叶特征（RFF）。
• 采用 $\hat{\phi}$ 映射，通过 $\cos(\omega_i^T x)$ 和 $\sin(\omega_i^T x)$ 对来在期望下保持核内积。
• 应用浓度不等式和链式论证，以界定相对误差 $|D_K(x,y) - \|\hat{\phi}(x) - \hat{\phi}(y)\|| / D_K(x,y)$。
• 通过覆盖论证和度量熵推导维数界限，表明结果在 $\log(1/\varepsilon)$ 因子内是紧致的。
• 使用 USPS 数据集上的核主成分分析和不同 $\|x-y\|/\sigma$ 的成对距离模拟，对结果进行实证验证。
• 将相对误差度量为核主成分分析残差的 $|\hat{R}_k / R_k - 1|$，以及成对距离的 $\varepsilon_{\text{max}} = \max_i |D_K(x_i,y_i)/\|\hat{\phi}(x_i)-\hat{\phi}(y_i)\| - 1|$。

实验结果

研究问题

• RQ1 为确保对所有 $n$ 个点对的高斯核距离实现 $(1\pm\varepsilon)$-相对误差，所需随机傅里叶特征的最小数量是多少？
• RQ2 当 $n$ 无界时，所需特征维数如何随数据维数 $d$、直径 $\mathcal{M}$ 和 $\varepsilon$ 变化？
• RQ3 相对误差是否能在所有点对（包括 $\|x-y\|$ 极小的点对）中均匀保持？
• RQ4 在实际应用（如核主成分分析）中，相对误差是否在不同带宽 $\sigma$ 和不断增加的特征数量 $t$ 下保持稳定？

主要发现

• 对于 $n$ 个数据点，$O((1/\varepsilon^2)\log n)$ 个 RFF 空间维度在保证高斯核距离的 $(1+\varepsilon)$-相对误差方面既充分也必要。
• 当 $n$ 无界但数据位于 $\mathbb{R}^d$ 且直径有界为 $\mathcal{M}$ 时，$O((d/\varepsilon^2)\log \mathcal{M})$ 个维度在 $\log(1/\varepsilon)$ 因子内既充分也必要。
• 实证结果表明，核主成分分析残差误差的相对误差随 $t$ 的增加呈二次下降趋势，且在不同 $\sigma$ 值下保持稳定。
• 最大相对误差 $\varepsilon_{\text{max}}$ 与 $\sqrt{t}$ 成反比，证实了理论中 $O(1/\varepsilon^2)$ 的依赖关系。
• 即使在 $\|x-y\|/\sigma \ll 1$ 的高浓度区域，相对误差仍被限制在一个较小常数内，表明其鲁棒性。
• 理论与实证结果共同证实，RFF 能够为完整的核距离提供紧致的相对误差近似，而不仅限于内积。