[论文解读] Nonlinear function-on-function regression by RKHS

Peijun Sang, Bing Li|arXiv (Cornell University)|Jul 17, 2022

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种基于嵌套再生核希尔伯特空间（RKHS）的非线性函数对函数回归模型，以捕捉协变量函数与响应函数之间复杂的非线性关系。通过在协变量的一阶希尔伯特空间上构建第二层RKHS，该方法实现了灵活的非线性建模，并在较弱的正则性条件下建立了预测响应的收敛速率和弱收敛性。

ABSTRACT

We propose a nonlinear function-on-function regression model where both the covariate and the response are random functions. The nonlinear regression is carried out in two steps: we first construct Hilbert spaces to accommodate the functional covariate and the functional response, and then build a second-layer Hilbert space for the covariate to capture nonlinearity. The second-layer space is assumed to be a reproducing kernel Hilbert space, which is generated by a positive definite kernel determined by the inner product of the first-layer Hilbert space for $X$--this structure is known as the nested Hilbert spaces. We develop estimation procedures to implement the proposed method, which allows the functional data to be observed at different time points for different subjects. Furthermore, we establish the convergence rate of our estimator as well as the weak convergence of the predicted response in the Hilbert space. Numerical studies including both simulations and a data application are conducted to investigate the performance of our estimator in finite sample.

研究动机与目标

• 开发一种适用于协变量和响应均为随机函数的非线性回归框架。
• 解决函数数据分析中函数对函数回归缺乏灵活、非参数化方法的问题。
• 在估计过程中允许协变量和响应在不规则或稀疏时间点上观测。
• 为所提出的估计器建立理论收敛速率和弱收敛性质。

提出的方法

• 该方法构建了嵌套希尔伯特空间结构：函数协变量 $X$ 位于希尔伯特空间 $\mathcal{H}_X$ 中，第二层RKHS通过 $\mathcal{H}_X$ 的内积导出的正定核在 $\mathcal{H}_X$ 上构建。
• 回归算子从第二层RKHS映射到响应希尔伯特空间 $\mathcal{H}_Y$，从而实现非线性函数关系。
• 通过Tikhonov正则化进行估计，以确保稳定性和收敛性，并利用RKHS框架中的表示定理。
• 通过在基于核的估计中直接使用观测数据点，该方法可处理不规则或稀疏的函数数据。
• 该方法依赖于带惩罚项的经验风险最小化，以控制估计算子的复杂度。
• 在较弱的正则性条件下，建立了预测响应在希尔伯特空间中的弱收敛性，确保推断的渐近有效性。

实验结果

研究问题

• RQ1 能否构建一个非线性函数对函数回归模型，以灵活地建模随机函数之间的复杂依赖关系？
• RQ2 嵌套希尔伯特空间结构结合RKHS如何在保持理论可处理性的同时实现非线性？
• RQ3 在一般条件下，估计的回归算子能达到怎样的收敛速率？
• RQ4 当函数数据在不规则或稀疏时间点上观测时，该方法表现如何？
• RQ5 在所提出的估计过程中，预测响应在希尔伯特空间中是否弱收敛？

主要发现

• 所提出的估计器的收敛速率取决于底层回归算子的光滑性以及协方差算子的特征结构。
• 在较弱的矩和正则性条件下，$\mathcal{H}_Y$ 中预测响应的弱收敛性得以建立。
• 数值研究显示，即使函数数据观测稀疏，该方法仍保持良好的预测性能。
• 理论分析证实，在协变量和响应过程满足正则性条件时，估计器具有渐近一致性。
• Tikhonov正则化确保了数值稳定性，并使得RKHS框架中的表示定理得以应用。
• 嵌套希尔伯特空间结构允许在不假设参数形式的前提下，对非线性函数关系进行非参数化、灵活的建模。