[论文解读] Operator-Valued Bochner Theorem, Fourier Feature Maps for Operator-Valued Kernels, and Vector-Valued Learning

Hà Quang Minh|arXiv (Cornell University)|Aug 19, 2016

Gaussian Processes and Bayesian Inference参考文献 18被引用 11

一句话总结

本文提出了一种基于算子值Bochner定理的一般性框架，用于构造随机算子值特征映射，实现了对算子值正定核的高效近似。该方法提供了一种闭式表达式，用于计算傅里叶特征构造所需的概率测度——在算子值情况下该测度不唯一——并在弱于先前工作的平滑性条件下建立了近似核在Hilbert-Schmidt范数下对精确核的统一收敛性，包括仅需可微性而非二阶可微性。

ABSTRACT

This paper presents a framework for computing random operator-valued feature maps for operator-valued positive definite kernels. This is a generalization of the random Fourier features for scalar-valued kernels to the operator-valued case. Our general setting is that of operator-valued kernels corresponding to RKHS of functions with values in a Hilbert space. We show that in general, for a given kernel, there are potentially infinitely many random feature maps, which can be bounded or unbounded. Most importantly, given a kernel, we present a general, closed form formula for computing a corresponding probability measure, which is required for the construction of the Fourier features, and which, unlike the scalar case, is not uniquely and automatically determined by the kernel. We also show that, under appropriate conditions, random bounded feature maps can always be computed. Furthermore, we show the uniform convergence, under the Hilbert-Schmidt norm, of the resulting approximate kernel to the exact kernel on any compact subset of Euclidean space. Our convergence requires differentiable kernels, an improvement over the twice-differentiability requirement in previous work in the scalar setting. We then show how operator-valued feature maps and their approximations can be employed in a general vector-valued learning framework. The mathematical formulation is illustrated by numerical examples on matrix-valued kernels.

研究动机与目标

• 开发一种系统化方法，用于计算算子值核的随机特征映射，将随机傅里叶特征推广至向量值设置。
• 解决算子值情况下一个关键挑战：与标量情况不同，用于特征构造的概率测度不能由核唯一确定。
• 证明在适当条件下，总可构造有界随机特征映射，确保稳定性与实用性。
• 在紧子集上建立近似核对精确核在Hilbert-Schmidt范数下的统一收敛性，且平滑性假设弱于先前工作。
• 证明这些特征映射可直接应用于基于再生核Hilbert空间的一般向量值学习框架。

提出的方法

• 利用算子值Bochner定理的版本，推导出从给定算子值正定核构造概率测度的一般公式。
• 提出一种闭式表达式，用于计算与核k相关的概率测度ρ，该测度不唯一由k决定，从而允许存在无穷多组特征映射。
• 通过从计算得到的概率测度ρ进行蒙特卡洛采样，构造随机算子值特征映射，实现核近似。
• 在欧氏空间的紧子集上，建立近似核对精确核在Hilbert-Schmidt范数下的统一收敛性。
• 证明收敛性对可微核成立，优于先前工作在标量情况下要求二阶可微性的结果。
• 将所得特征映射直接应用于RKHS中的通用向量值学习框架，并通过矩阵值核的数值验证其有效性。

实验结果

研究问题

• RQ1 当所需概率测度不能由核唯一确定时，如何系统化地构造算子值核的随机特征映射？
• RQ2 在何种条件下，可保证算子值核存在有界随机特征映射？
• RQ3 能否在弱于二阶可微性的平滑性假设下，建立近似算子值核对精确核的收敛性？
• RQ4 如何有效将所得特征映射集成到一般向量值学习框架中？
• RQ5 在算子值设置下，概率测度的选择与核近似质量之间存在何种关系？

主要发现

• 推导出从给定算子值正定核计算概率测度ρ的一般闭式公式，解决了特征映射构造中的非唯一性问题。
• 对于给定核，存在潜在无穷多组随机特征映射，包括有界与无界变体，且在适当假设下有界映射始终存在。
• 在欧氏空间的任意紧子集上，证明了近似核对精确核在Hilbert-Schmidt范数下的统一收敛性，条件是核可微。
• 该收敛结果优于先前工作，仅需可微性而非二阶可微性，显著放松了平滑性假设。
• 该框架使算子值特征映射可直接应用于向量值学习，数值示例验证了其在矩阵值核上的有效性。
• Hilbert-Schmidt范数下的收敛性严格强于先前相关工作中建立的谱范数收敛性，提供了更紧致的近似保证。