[论文解读] Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression

Jiading Liu, Лей Ши|arXiv (Cornell University)|Nov 20, 2022

Statistical Methods and Inference被引用 7

一句话总结

本文在弱假设下建立了分治核基函数线性回归的统计最优性，表明即使真实斜率函数不在再生核希尔伯特空间（RKHS）中，该方法仍能实现极小极大最优预测速率。通过利用积分算子方法和精确的有限样本界，作者证明了渐近最优性，并在温和条件下展示了收敛速率可任意快。

ABSTRACT

Previous analysis of regularized functional linear regression in a reproducing kernel Hilbert space (RKHS) typically requires the target function to be contained in this kernel space. This paper studies the convergence performance of divide-and-conquer estimators in the scenario that the target function does not necessarily reside in the underlying RKHS. As a decomposition-based scalable approach, the divide-and-conquer estimators of functional linear regression can substantially reduce the algorithmic complexities in time and memory. We develop an integral operator approach to establish sharp finite sample upper bounds for prediction with divide-and-conquer estimators under various regularity conditions of explanatory variables and target function. We also prove the asymptotic optimality of the derived rates by building the mini-max lower bounds. Finally, we consider the convergence of noiseless estimators and show that the rates can be arbitrarily fast under mild conditions.

研究动机与目标

• 分析当真实斜率函数不一定属于再生核希尔伯特空间（RKHS）时，分治估计器在函数线性回归中的收敛性能。
• 利用积分算子建立理论框架，推导在各种正则性条件下预测风险的精确有限样本上界。
• 通过测试论证建立极小极大下界，以证明所导出收敛速率的最优性。
• 研究无噪声估计器的行为，表明在温和假设下收敛速率可任意快。
• 将基于核的函数回归的适用性扩展到传统RKHS假设失效的困难学习场景。

提出的方法

• 采用分治策略将全数据集划分为m个互不相交的子集，在每个子集上训练局部RLS估计器。
• 应用积分算子方法分析预测风险，对函数预测变量的协方差结构和核算子进行建模。
• 利用积分算子的谱性质以及对斜率函数和协变量的正则性条件，推导预测风险超额的有限样本上界。
• 通过在小邻域内选取一组精心设计的函数，利用测试论证建立极小极大下界，证明上界的紧致性。
• 使用希尔伯特空间上自伴随机算子的伯恩斯坦不等式，控制经验算子与其期望之间的偏差。
• 利用柯朗-费舍尔极小化-极大原理比较复合算子的特征值，从而实现对不同积分算子谱行为的比较。

实验结果

研究问题

• RQ1 当真实斜率函数不在RKHS中时，分治核基估计器能否实现极小极大最优预测速率？
• RQ2 在一般正则性条件下，此类估计器的预测风险的精确有限样本上界是什么？
• RQ3 收敛速率在渐近情况下的行为如何，是否为极小极大最优？
• RQ4 在何种条件下，即使在无噪声情况下，收敛速率也可任意快？
• RQ5 核算子及其谱性质在决定估计器统计性能方面起什么作用？

主要发现

• 所提出的分治估计器即使在真实斜率函数不包含于RKHS时，也能实现极小极大最优收敛速率。
• 在斜率函数和协变量的正则性条件下，推导出超额预测风险的精确有限样本上界，其量级为$ O(N^{-rac{2 heta}{2 heta + p}}) $。
• 极小极大下界与上界仅相差一个常数因子，证明了所导出速率的渐近最优性。
• 对于无噪声估计器，在温和条件下收敛速率可任意快，其速率取决于光滑性参数$ \theta $和特征值衰减速率$ p $。
• 基于积分算子和谱分析的理论框架能够分析非RKHS目标函数，从而扩展了基于核的函数回归的适用范围。
• 结果对核的选择具有鲁棒性，并在函数预测变量和噪声结构的普遍假设下依然成立。