[论文解读] Two-stage Sampled Learning Theory on Distributions

Zoltán Szabó, Arthur Gretton+2 more|arXiv (Cornell University)|Feb 7, 2014

Domain Adaptation and Few-Shot Learning被引用 23

一句话总结

该论文首次为在两阶段抽样设置下的分布回归提供了的一致性与收敛速率保证，其中仅可观测到来自分布的样本。该方法将分布嵌入再生核希尔伯特空间（RKHS），并应用核岭回归，证明了在温和条件下，经典集合核及其他分布核的一致性，且推导出了总样本量与问题复杂度的显式收敛速率。

ABSTRACT

We focus on the distribution regression problem: regressing to a real-valued response from a probability distribution. Although there exist a large number of similarity measures between distributions, very little is known about their generalization performance in specific learning tasks. Learning problems formulated on distributions have an inherent two-stage sampled difficulty: in practice only samples from sampled distributions are observable, and one has to build an estimate on similarities computed between sets of points. To the best of our knowledge, the only existing method with consistency guarantees for distribution regression requires kernel density estimation as an intermediate step (which suffers from slow convergence issues in high dimensions), and the domain of the distributions to be compact Euclidean. In this paper, we provide theoretical guarantees for a remarkably simple algorithmic alternative to solve the distribution regression problem: embed the distributions to a reproducing kernel Hilbert space, and learn a ridge regressor from the embeddings to the outputs. Our main contribution is to prove the consistency of this technique in the two-stage sampled setting under mild conditions (on separable, topological domains endowed with kernels). For a given total number of observations, we derive convergence rates as an explicit function of the problem difficulty. As a special case, we answer a 15-year-old open question: we establish the consistency of the classical set kernel [Haussler, 1999; Gartner et. al, 2002] in regression, and cover more recent kernels on distributions, including those due to [Christmann and Steinwart, 2010].

研究动机与目标

• 解决在仅可观测到分布样本的两阶段抽样设置下，分布回归是否可一致求解这一基本开放问题。
• 为一种简单而有效的方法提供理论保证：将分布嵌入再生核希尔伯特空间，随后进行岭回归。
• 解决关于经典集合核在回归任务中一致性的15年未解之谜。
• 在输入域和核结构的一般条件下，推导出所提方法的显式收敛速率。
• 将理论分析扩展至广泛的分布核类，包括基于高斯、指数和马特ernel核的核。

提出的方法

• 该方法使用样本点上的核函数，将每个可观测到的分布（以独立同分布样本集表示）嵌入再生核希尔伯特空间（RKHS）。
• 随后，对RKHS嵌入应用核岭回归，以学习从RKHS嵌入到实值响应变量的映射。
• 理论分析在两阶段抽样框架下进行：首先，从元分布中抽取分布；其次，从每个分布中抽取样本。
• 通过证明所学习估计器的过剩风险随着分布数量和每分布样本数的增加而收敛至零，建立了该方法的一致性。
• 针对由光滑性参数 $ c $ 和有效维数 $ b $ 定义的先验分布族，推导出收敛速率，其显式表达式以总样本量 $ t = lN $ 表示。
• 分析基于对域（可分、拓扑）和核（特征核、有界）的温和假设，避免使用核密度估计。

实验结果

研究问题

• RQ1 在两阶段抽样设置下，对样本分布的RKHS嵌入应用核岭回归是否具有一致性？
• RQ2 能否证明经典集合核在分布回归中的一致性，从而解决15年前的开放问题？
• RQ3 在不同光滑度和有效维数下，分布回归的显式收敛速率是什么？
• RQ4 与依赖核密度估计的现有方法相比，该方法在理论上表现如何？
• RQ5 该理论框架能否扩展至涵盖广泛的分布核类，包括基于高斯、指数和马特ernel核的核？

主要发现

• 在温和条件下（包括可分拓扑域和特征核），所提方法在两阶段抽样设置下实现了分布回归的一致性。
• 该论文通过证明经典集合核在回归任务中的一致性，解决了15年未解的开放问题。
• 对于固定的总样本数 $ t = lN $，当回归函数光滑时（$ c=2 $），收敛速率为 $ 1/t^{2/7} $；在非光滑情况下（$ c=1 $），收敛速率为 $ 1/t^{1/5} $。
• 在经验评估中，使用核的集成方法实现了 $ 100 \times \text{RMSE} = 7.86 \pm 1.71 $ 的预测误差，表现出稳健性与优异性能。
• 在RKHS嵌入上使用非线性核进一步提升了性能，集成情况下达到 $ 100 \times \text{RMSE} = 7.81 \pm 1.64 $，优于线性与多项式核。
• 理论框架覆盖了广泛的分布核类，包括高斯、指数、有理二次和马特ernel核，并提供了显式的收敛保证。