[论文解读] Optimal Rates for Regularized Conditional Mean Embedding Learning

Zhu Li, Dimitri Meunier+2 more|arXiv (Cornell University)|Aug 2, 2022

Statistical Methods and Inference被引用 9

一句话总结

本文通过引入一种基于张量积构造的新型向量值插值空间，首次在模型误设设定下为正则化条件均值嵌入（CME）建立了最优学习率。它证明了首个匹配的下界，并在不假设目标RKHS为有限维的前提下，实现了最优的 O(log n / n) 收敛速率，从而在一般条件下填补了CME一致性理论中长期存在的理论空白。

ABSTRACT

We address the consistency of a kernel ridge regression estimate of the conditional mean embedding (CME), which is an embedding of the conditional distribution of $Y$ given $X$ into a target reproducing kernel Hilbert space $\mathcal{H}_Y$. The CME allows us to take conditional expectations of target RKHS functions, and has been employed in nonparametric causal and Bayesian inference. We address the misspecified setting, where the target CME is in the space of Hilbert-Schmidt operators acting from an input interpolation space between $\mathcal{H}_X$ and $L_2$, to $\mathcal{H}_Y$. This space of operators is shown to be isomorphic to a newly defined vector-valued interpolation space. Using this isomorphism, we derive a novel and adaptive statistical learning rate for the empirical CME estimator under the misspecified setting. Our analysis reveals that our rates match the optimal $O(\log n / n)$ rates without assuming $\mathcal{H}_Y$ to be finite dimensional. We further establish a lower bound on the learning rate, which shows that the obtained upper bound is optimal.

研究动机与目标

• 为解决在目标RKHS为无限维时，CME估计器在模型误设设定下缺乏最优学习速率的问题。
• 构建一个系统性的CME定义框架，避免诸如 E[g(Y)|X=·] ∈ HX 这类限制性假设。
• 在一般光滑性与正则性条件下，建立经验CME估计器的一致性与收敛速率。
• 证明学习速率的匹配下界，表明所推导的上界为最优。

提出的方法

• 通过输入与输出RKHS之间的张量积构造，引入一种新的向量值插值空间，从而实现对CME更一般的表征。
• 建立希尔伯特-施密特算子空间与该新向量值插值空间之间的同构关系，将算子理论与测度论定义的CME联系起来。
• 使用带正则化的核岭回归来估计CME，借助插值空间推导收敛速率。
• 应用伯恩斯坦不等式与特征值衰减假设（EVD），以控制经验风险与泛化误差。
• 提出一种新颖的下界构造方法，利用参数化于 f ∈ [H]β_X 的一簇条件分布，证明上界速率无法进一步提升。
• 综合运用 [29, 26, 40, 11] 中的理论工具，将测度论定义的CME与插值空间理论统一，实现稳健的理论分析。

实验结果

研究问题

• RQ1 在不假设目标RKHS为有限维的前提下，能否在模型误设设定下为CME估计器实现最优学习速率？
• RQ2 是否存在一个通用框架，可在弱假设下统一算子理论与测度论定义的CME？
• RQ3 能否推导出匹配的下界，以确认学习速率上界的最优性？
• RQ4 所提出的插值空间框架是否允许在真实CME位于假设空间之外时仍实现一致估计？

主要发现

• 本文在模型误设设定下，为正则化CME估计器建立了最优的 O(log n / n) 学习速率，即使在目标RKHS为无限维时也成立。
• 所推导的上界与理论下界完全匹配，证明在给定假设下该速率无法进一步改进。
• 所提出的向量值插值空间提供了一个严格且通用的框架，避免了先前工作中所需的单射性与特征值衰减假设。
• 希尔伯特-施密特算子与新插值空间之间的同构关系，为基于算子与基于函数的CME定义提供了清晰的理论联系。
• 分析表明，只要真实条件均值位于插值空间中，即使其不在假设空间内，CME仍可被一致估计。
• 下界构造利用了参数化于 f ∈ [H]β_X 的一簇条件分布，证明在给定光滑性条件下无法获得更快的收敛速率。