[论文解读] Sobolev Norm Learning Rates for Regularized Least-Squares Algorithm

Simon Fischer, Ingo Steinwart|arXiv (Cornell University)|Feb 23, 2017

Sparse and Compressive Sensing Techniques参考文献 31被引用 24

一句话总结

该论文在真实回归函数位于假设空间之外的情况下，建立了正则化最小二乘算法在强于标准 $L_2$-范数的Sobolev型范数下的学习率，即使在该情况下也成立。通过结合积分算子技术与一种新颖的嵌入性质，作者推导出插值空间中的有限样本界与最优收敛速率，首次实现了在困难学习场景下的 $L_∞$-范数学习率。

ABSTRACT

Learning rates for least-squares regression are typically expressed in terms of $L_2$-norms. In this paper we extend these rates to norms stronger than the $L_2$-norm without requiring the regression function to be contained in the hypothesis space. In the special case of Sobolev reproducing kernel Hilbert spaces used as hypotheses spaces, these stronger norms coincide with fractional Sobolev norms between the used Sobolev space and $L_2$. As a consequence, not only the target function but also some of its derivatives can be estimated without changing the algorithm. From a technical point of view, we combine the well-known integral operator techniques with an embedding property, which so far has only been used in combination with empirical process arguments. This combination results in new finite sample bounds with respect to the stronger norms. From these finite sample bounds our rates easily follow. Finally, we prove the asymptotic optimality of our results in many cases.

研究动机与目标

• 将学习率分析从 $L_2$-范数扩展至更强的范数，如Sobolev范数与插值范数，在基于核的回归中实现。
• 解决真实回归函数 $f^*_P$ 不属于再生核希尔伯特空间（RKHS）的困难学习场景。
• 为 $L_2$ 与RKHS $H$ 之间的连续尺度 $[H]^γ$ 上的范数推导出有限样本界与学习率。
• 在许多情况下证明所推导学习率的渐近最优性，包括极小极大最优性。
• 在困难学习场景下首次建立正则化最小二乘算法的 $L_∞$-范数学习率。

提出的方法

• 将常用于 $L_2$-范数学习率分析的积分算子技术，与此前未被充分使用的RKHS的嵌入性质相结合。
• 引入一个插值范数尺度 $[H]^γ$，其中 $\gamma \in (0,1)$，满足 $[H]^0 = L_2$，$[H]^1 = H$，且 $[H]^γ$ 对应于分数阶Sobolev或Besov空间。
• 使用希尔伯特空间值随机变量的Bernstein型不等式，以控制经验过程部分。
• 应用希尔伯特-施密特算子的浓度不等式，以界定向量核算子与其期望之间的偏差。
• 通过积分算子框架与嵌入条件之间的相互作用，推导出泛化误差 $\|f_{D,\lambda} - f^*_P\|_{[H]^\gamma}$ 的有限样本界。
• 通过分析正则化解在更强的 $[H]^\gamma$-范数下的衰减速率，结合谱性质与嵌入条件，建立学习率。

实验结果

研究问题

• RQ1 即使 $f^*_P \notin H$，是否也能在强于 $L_2$ 的范数下为正则化最小二乘回归建立学习率？
• RQ2 RKHS的嵌入性质在提升 $L_2$-范数以外的学习率方面起到何种作用？
• RQ3 在插值范数 $[H]^\gamma$ 中推导出的学习率是否在极小极大意义下最优？
• RQ4 能否通过积分算子技术在困难学习场景下实现 $L_\infty$-范数学习率？
• RQ5 积分算子方法与嵌入性质的结合如何导致更紧的有限样本界？

主要发现

• 论文在 $\gamma \in (0,1)$ 时，为插值范数 $[H]^\gamma$ 中的泛化误差建立了有限样本界，即使 $f^*_P \notin H$ 也成立。
• 所推导的 $[H]^\gamma$-范数下的学习率在许多情况下被证明是渐近最优的，与已知的极小极大下界一致。
• 对于Sobolev或Besov RKHS，范数 $[H]^\gamma$ 对应于经典的分数阶Sobolev范数，从而可在不修改算法的前提下实现导数估计。
• 作者首次在困难学习场景下推导出 $L_\infty$-范数学习率，该结果通过嵌入性质与积分算子技术实现。
• 该方法在 $f^*_P \notin H$ 且满足嵌入条件时，优于Blanchard与Mücke（2014）以及Lin等人（2017）的先前结果，实现了更快的收敛速率。
• 通过控制函数 $f_{\lambda,\alpha}(t) = \frac{t^\alpha}{(\lambda + t)^\alpha}$ 的上确界来控制算子范数，其中 $\sup_t f_{\lambda,\alpha}(t) \leq \lambda^{\alpha-1}$，该不等式在分析中至关重要。