[论文解读] PCA-based estimation for functional linear regression with functional responses

Masaaki Imaizumi, Kengo Kato|arXiv (Cornell University)|Sep 1, 2016

Statistical Methods and Inference参考文献 27被引用 4

一句话总结

本文提出了基于主成分分析（PCA）的函数线性回归估计方法，适用于函数型响应变量，重点在于估计一个不适定逆问题中的核函数 $ b(s,t) $。研究证明，单重截断估计量的收敛速度达到极小极大最优，且仅依赖于 $ t $ 方向的光滑性与特征值衰减速率，而不依赖于 $ s $ 方向的光滑性；同时给出了双重视截断估计量也达到最优收敛速度的条件。

ABSTRACT

This paper studies a regression model where both predictor and response variables are random functions. We consider a functional linear model where the conditional mean of the response variable at each time point is given by a linear functional of the predictor variable. In this paper, we are interested in estimation of the integral kernel $b(s,t)$ of the conditional expectation operator, where $s$ is an output variable while $t$ is a variable that interacts with the predictor variable. This problem is an ill-posed inverse problem, and we consider two estimators based on the functional principal component analysis (PCA). We show that under suitable regularity conditions, an estimator based on the single truncation attains the convergence rate for the integrated squared error that is characterized by smoothness of the function $b (s,t)$ in $t$ together with the decay rate of the eigenvalues of the covariance operator, but the rate does not depend on smoothness of $b(s,t)$ in $s$. This rate is shown to be minimax optimal, and consequently smoothness of $b(s,t)$ in $s$ does not affect difficulty of estimating $b$. We also consider an alternative estimator based on the double truncation, and provide conditions under which the alternative estimator attains the optimal rate. We conduct simulations to verify the performance of PCA-based estimators in the finite sample. Finally, we apply our estimators to investigate the relation between the lifetime pattern of working hours and total income, and the relation between the electricity spot price and the wind power infeed.

研究动机与目标

• 解决函数型预测变量与响应变量模型中积分核 $ b(s,t) $ 的估计问题。
• 分析在不适定逆问题背景下，基于主成分分析（PCA）的估计量的收敛速率。
• 确定输入变量 $ s $ 的光滑性是否影响 $ b(s,t) $ 的估计难度。
• 在不同正则性条件下，比较单重截断与双重截断估计量的性能。
• 建立单重截断估计量的收敛速率的极小极大最优性，并推导出双重截断估计量达到相同速率的条件。

提出的方法

• 利用函数型主成分分析（PCA），将预测变量 $ X(t) $ 和核函数 $ b(s,t) $ 展开为 $ X $ 的协方差算子的特征函数 $ \phi_k $ 的形式。
• 提出一种基于展开式 $ b(s,t) = \sum_k \left[ \mathbb{E}(\xi_k Y(s)) / \mathbb{E}(\xi_k^2) \right] \phi_k(t) $ 的单重截断估计量，其中截断阶数 $ m_n \to \infty $ 当 $ n \to \infty $。
• 提出一种基于联合展开式 $ b(s,t) = \sum_{j,k} \left[ \mathbb{E}(\eta_j \xi_k) / \mathbb{E}(\xi_k^2) \right] \phi_j(s) \phi_k(t) $ 的双重截断估计量，其中在 $ m_{n,1}, m_{n,2} \to \infty $ 时进行截断。
• 基于独立同分布的函数型数据，采用经验估计量对 $ \mathbb{E}(\xi_k Y(s)) $、$ \mathbb{E}(\xi_k^2) $ 和 $ \phi_k $ 进行估计。
• 应用非渐近风险界与极小极大理论，利用阿苏阿德引理（Assouad’s lemma）和Kullback-Leibler散度推导下界。
• 推导出积分平方误差的极小极大速率，表明其仅依赖于 $ t $ 方向的光滑性与协方差算子的特征值衰减速率。

实验结果

研究问题

• RQ1 在函数型响应的函数线性回归中，核函数 $ b(s,t) $ 的最优收敛速率是什么？
• RQ2 $ b(s,t) $ 在输出变量 $ s $ 上的光滑性是否影响估计的难度？
• RQ3 在适当的正则性条件下，单重截断PCA估计量能否达到极小极大最优收敛速率？
• RQ4 在何种条件下，双重截断估计量可以达到最优收敛速率？
• RQ5 所提出的估计量在有限样本和实际应用中的表现如何？

主要发现

• 单重截断PCA估计量在积分平方误差下的收敛速率仅依赖于 $ b(s,t) $ 在 $ t $ 方向的光滑性以及协方差算子特征值的衰减速率。
• 该收敛速率不依赖于 $ b(s,t) $ 在 $ s $ 方向的光滑性，表明 $ s $ 方向的光滑性不影响估计难度。
• 所推导的速率被证明是极小极大最优的，证实该估计量具有统计效率。
• 双重截断估计量同样可以达到最优速率，但需要对 $ b(s,t) $ 在 $ s $ 和 $ t $ 两个方向的光滑性施加更强的正则性条件。
• 模拟结果展示了基于PCA的估计量在有限样本下的表现，支持其实际应用价值。
• 在工作时间与收入、风力发电与电价等真实数据上的应用，体现了该方法的实证相关性。