[论文解读] Random Fourier Features for Operator-Valued Kernels

Romain Brault, Florence d’Alché–Buc+1 more|arXiv (Cornell University)|May 9, 2016

Stochastic Gradient Optimization Techniques参考文献 30被引用 6

一句话总结

本文提出算子随机傅里叶特征（ORFFs）以近似算子值核（OVKs），实现可扩展的向量值学习。通过将Bochner定理由平移不变的OVK推广，该方法构建了显式的随机特征映射，利用矩阵集中不等式实现对真实核的统一收敛，从而在大规模多任务学习和结构化输出学习中，借助线性模型实现高效计算。

ABSTRACT

Devoted to multi-task learning and structured output learning, operator-valued kernels provide a flexible tool to build vector-valued functions in the context of Reproducing Kernel Hilbert Spaces. To scale up these methods, we extend the celebrated Random Fourier Feature methodology to get an approximation of operator-valued kernels. We propose a general principle for Operator-valued Random Fourier Feature construction relying on a generalization of Bochner's theorem for translation-invariant operator-valued Mercer kernels. We prove the uniform convergence of the kernel approximation for bounded and unbounded operator random Fourier features using appropriate Bernstein matrix concentration inequality. An experimental proof-of-concept shows the quality of the approximation and the efficiency of the corresponding linear models on example datasets.

研究动机与目标

• 解决在多任务学习和结构化输出学习中，算子值核（OVK）方法在大规模数据集上计算不可行的问题。
• 将随机傅里叶特征（RFF）框架扩展至算子值核，实现OVK的高效近似。
• 利用矩阵集中不等式，建立ORFF近似在有界和无界OVK下的理论统一收敛性。
• 在真实和合成的向量值学习任务中，展示基于ORFF的模型在实际可扩展性和性能方面的优势。

提出的方法

• 通过谱测度推广Bochner定理，推导出平移不变算子值核的随机表示。
• 通过从OVK的谱测度中采样，构建显式的ORFF映射，实现通过随机特征投影对核函数的线性化。
• 应用一种类似Bernstein的矩阵集中不等式，证明ORFF近似在有界和无界核下对真实OVK的统一收敛性。
• 采用随机特征映射 $ \tilde{\phi}(x) \in \mathbb{R}^D \otimes \mathcal{Y} $，使得 $ \langle \tilde{\phi}(x), \tilde{\phi}(x') \rangle \approx K(x,x') $，其中 $ K $ 为OVK。
• 使用标准岭回归结合ORFF特征映射，在大规模数据集上高效训练线性模型。
• 通过交叉验证调优 $ \lambda $ 和 $ \sigma $，在MNIST和合成的2D向量场数据集上验证该方法。

实验结果

研究问题

• RQ1 能否将随机傅里叶特征框架推广至算子值核，以实现在向量值再生核希尔伯特空间中的可扩展学习？
• RQ2 ORFF近似在有界和无界算子值核下的理论收敛行为如何？
• RQ3 在大规模数据集上，基于ORFF的模型在预测误差和训练时间方面与精确OVK方法相比表现如何？
• RQ4 ORFF能否在合成和真实世界场景中有效捕捉结构化输出依赖关系，如无旋或无散向量场？

主要发现

• 通过一种新颖的矩阵集中不等式，证明了ORFF近似在有界和无界核下对真实算子值核的统一收敛性。
• 在MNIST数据集上，当使用 $ D = 1000 $ 个傅里叶特征时，ORFF模型的预测误差与精确OVK模型相当。
• ORFF模型的可扩展性显著优于精确OVK：在 $ N = 10^5 $ 时，ORFF的训练时间保持在100秒以内，而OVK在 $ N > 10^4 $ 时超过1000秒。
• 在合成的2D向量场数据上，无旋ORFF模型优于标准RFF，更快收敛至噪声底限，并更准确地捕捉向量场结构。
• 该方法实现了对结构化输出（如向量场）的高效学习，与精确OVK相比精度损失极小。
• 该框架通过将昂贵的核矩阵运算替换为线性特征映射，支持OVK在大规模数据集上的实际部署。