[论文解读] Optimal rates for the regularized learning algorithms under general source condition

S. Sivananthan Abhishake|arXiv (Cornell University)|Nov 7, 2016

Numerical methods in inverse problems被引用 3

一句话总结

本文在向量值函数空间中，针对一般源条件与多项式特征值衰减的情形，建立了Tikhonov正则化学习算法的最优收敛速率。通过引入算子单调指标函数，推导出极小极大最优速率，并确定了学习误差的根本下界，为不适定学习问题中的正则化提供了全面的理论框架。

ABSTRACT

We consider the learning algorithms under general source condition with the polynomial decay of the eigenvalues of the integral operator in vector-valued function setting. We discuss the upper convergence rates of Tikhonov regularizer under general source condition corresponding to increasing monotone index function. The convergence issues are studied for general regularization schemes by using the concept of operator monotone index functions in minimax setting. Further we also address the minimum possible error for any learning algorithm.

研究动机与目标

• 分析在特征值多项式衰减的一般源条件下，Tikhonov正则化的收敛行为。
• 通过算子单调指标函数，将收敛速率分析从标准源条件扩展至更广范围。
• 在向量值函数学习的背景下，推导正则化方案的极小极大最优速率。
• 确定在给定条件下，任何学习算法所能达到的最小可能误差。

提出的方法

• 通过算子单调指标函数推广源条件，实现对各种光滑性假设的统一处理。
• 采用极小极大框架推导收敛速率，刻画所有学习算法中可能达到的最佳性能。
• 利用积分算子的谱性质，特别是其特征值的衰减速率，对学习误差进行上界估计。
• 通过泛函分析技术建立理论界，包括在向量值再生核希尔伯特空间中使用希尔伯特-施密特算子。
• 基于源条件与特征值衰减，推导出独立于具体算法的最小可能误差作为下界。

实验结果

研究问题

• RQ1 在一般源条件与多项式特征值衰减下，Tikhonov正则化的最优收敛速率是什么？
• RQ2 算子单调指标函数在正则化理论中如何推广标准源条件？
• RQ3 在给定源条件下，任何学习算法可达到的极小极大最优速率是什么？
• RQ4 在指定条件下，任何学习算法必须承担的误差的根本下界是什么？

主要发现

• 本文证明，在一般源条件下，Tikhonov正则化的收敛速率与极小极大最优速率一致，从而证明了其最优性。
• 使用算子单调指标函数可比经典假设更广泛且更灵活地刻画源条件。
• 推导出的收敛速率明确依赖于特征值的多项式衰减速率以及由指标函数编码的光滑性。
• 推导出学习误差的根本下界，该下界独立于算法，仅取决于源条件与特征值衰减。