[论文解读] Regularised Least-Squares Regression with Infinite-Dimensional Output Space

Jun-Hyung Park, Krikamol Muandet|arXiv (Cornell University)|Oct 21, 2020

Face and Expression Recognition参考文献 15被引用 5

一句话总结

本文在可能无限维的输出空间和非紧致输入域下，建立了向量值再生核希尔伯特空间（vvRKHS）中正则化最小二乘回归的普遍一致性。通过使用非紧致算子的谱理论，并在仅假设输出的二阶矩有限的最小条件下，作者证明了估计器以概率收敛于真实条件数学期望，即使在不假设有界性或紧致性的情况下亦成立。

ABSTRACT

This short technical report presents some learning theory results on vector-valued reproducing kernel Hilbert space (RKHS) regression, where the input space is allowed to be non-compact and the output space is a (possibly infinite-dimensional) Hilbert space. Our approach is based on the integral operator technique using spectral theory for non-compact operators. We place a particular emphasis on obtaining results with as few assumptions as possible; as such we only use Chebyshev's inequality, and no effort is made to obtain the best rates or constants.

研究动机与目标

• 将正则化最小二乘回归理论扩展至无限维输出空间和非紧致输入域。
• 在最小假设下建立向量值RKHS回归的普遍一致性，特别是仅要求输出的二阶矩有限。
• 避免强假设如输入空间的有界性或紧致性，专注于确保一致性的最小条件。
• 在真实回归函数属于RKHS的充分设定情形下，提供一致收敛速率。
• 利用非紧致算子的谱理论，处理无限维输出空间中的分析问题。

提出的方法

• 基于非紧致算子的谱理论，使用积分算子技术分析正则化回归问题。
• 采用带有算子值核的向量值再生核希尔伯特空间（vvRKHS）框架，对映射到希尔伯特空间的回归函数进行建模。
• 应用切比雪夫不等式推导概率收敛性，而无需优化最优速率或常数。
• 通过最小化经验风险与vvRKHS中希尔伯特范数惩罚项之和，定义正则化解。
• 通过将估计误差分解为逼近误差与估计误差两部分，建立误差界。
• 使用嵌入算子 ι: H → L²(X, P_X; Y) 将RKHS范数与函数的L²(P_X)-范数关联起来。

实验结果

研究问题

• RQ1 当输出空间为无限维且输入空间为非紧致时，是否可在vvRKHS中建立正则化最小二乘回归的普遍一致性？
• RQ2 哪些最小假设足以确保估计器以概率收敛于真实条件数学期望？
• RQ3 在真实函数属于RKHS的充分设定情形下，估计误差的行为如何？
• RQ4 能否在输出方差有界且真实函数的RKHS范数有界的概率测度类上，推导出一致收敛速率？
• RQ5 非紧致算子的谱理论在分析具有无限维输出的核方法收敛性中起什么作用？

主要发现

• 普遍一致性仅需假设输出的二阶矩有限：E[||Y||²_Y] < ∞。
• 当正则化参数 λ_n → 0 的速度慢于 O(n⁻¹/²) 时，估计器以概率收敛于真实条件数学期望 f*，随着样本量增加。
• 在充分设定情形下，若 f* = ιf*ₕ 对某个 f*ₕ ∈ H 满足 ||f*ₕ||_H ≤ C，则当 λ_n = O(n⁻¹/⁴) 时，收敛速率为 O_P(n⁻¹/⁴)。
• 建立了统一的高概率界：对所有 P ∈ P(M,C)，有 P(||ιf̂_n,λ − f*||²₂ ≥ 2B²M/(nλ²δ) + 2λC) ≤ δ，其中 M 有界 E[||Y||²_Y]，C 有界 ||f*ₕ||_H。
• 分析避免了如 Y 有界或输入空间紧致等强假设，仅依赖Bochner可积性与谱理论。
• 关键技术工具是利用与核相关的积分算子的谱分解，即使该算子非紧致亦成立。