[论文解读] Universality, Characteristic Kernels and RKHS Embedding of Measures

Bharath K. Sriperumbudur, Kenji Fukumizu+1 more|arXiv (Cornell University)|Mar 3, 2010

Statistical Methods and Inference参考文献 22被引用 91

一句话总结

本文提出了一种将有限有符号博雷尔测度嵌入再生核希尔伯特空间（RKHS）的新型希尔伯特空间嵌入方法，证明了当且仅当核函数为普遍核时，该嵌入是单射的。这为通过测度嵌入对普遍核进行新表征，将普遍性与基于核的学习一致性相联系，并建立了普遍核与特征核之间的正式关系。

ABSTRACT

A Hilbert space embedding for probability measures has recently been proposed, wherein any probability measure is represented as a mean element in a reproducing kernel Hilbert space (RKHS). Such an embedding has found applications in homogeneity testing, independence testing, dimensionality reduction, etc., with the requirement that the reproducing kernel is characteristic, i.e., the embedding is injective. In this paper, we generalize this embedding to finite signed Borel measures, wherein any finite signed Borel measure is represented as a mean element in an RKHS. We show that the proposed embedding is injective if and only if the kernel is universal. This therefore, provides a novel characterization of universal kernels, which are proposed in the context of achieving the Bayes risk by kernel-based classification/regression algorithms. By exploiting this relation between universality and the embedding of finite signed Borel measures into an RKHS, we establish the relation between universal and characteristic kernels.

研究动机与目标

• 将概率测度的RKHS嵌入推广至有限有符号博雷尔测度。
• 通过有符号测度的RKHS嵌入的单射性，建立普遍核的新表征。
• 阐明在函数逼近中定义的普遍核与在概率测度嵌入中定义的特征核之间的关系。
• 通过测度论视角统一核方法中不同形式的普遍性概念。
• 证明在ℝᵈ上的平移不变及径向核中，普遍性与特征性质是等价的。

提出的方法

• 将有限有符号博雷尔测度μ的RKHS嵌入定义为∫ₐ k(·,x) dμ(x) ∈ ℋ。
• 利用里斯表示定理，证明ℋ上泛函的取值对应于与嵌入测度的内积。
• 利用哈恩-巴拿赫定理及稠密子空间的性质，证明嵌入是单射当且仅当核是普遍核。
• 建立RKHS中有限有符号测度嵌入的单射性与普遍性之间的等价关系。
• 借助已有普遍核研究结果（如Steinwart, 2001；Micchelli等, 2006），将嵌入框架与学习一致性联系起来。
• 证明在ℝᵈ上的平移不变及径向核中，普遍性蕴含特征性质，反之亦然。

实验结果

研究问题

• RQ1 在何种条件下，有限有符号博雷尔测度的RKHS嵌入是单射的？
• RQ2 有符号测度嵌入的单射性如何与普遍核的概念相关？
• RQ3 在RKHS嵌入的背景下，普遍核与特征核之间存在何种关系？
• RQ4 测度嵌入框架能否提供一种不同于函数逼近视角的普遍性新表征？
• RQ5 在ℝᵈ上的平移不变及径向核中，普遍核与特征核是否等价？

主要发现

• 有限有符号博雷尔测度的RKHS嵌入是单射当且仅当核是普遍核。
• 该结果基于测度嵌入提出了一种新颖的普遍核表征，不同于传统的函数逼近视角。
• 本文确立了普遍核正是那些使得有符号测度向RKHS的嵌入为单射的核。
• 在ℝᵈ上的平移不变及径向核中，普遍性与特征性质是等价的。
• 普遍性与有符号测度嵌入的单射性之间的联系，将基于核的学习一致性与RKHS的结构联系起来。
• 该结果通过近期关于c₀-普遍性的研究结果，将Lᵖ-普遍性与RKHS嵌入联系起来，完善了更广泛的理论框架。