[论文解读] Regression with genuinely functional errors-in-covariates

Anirvan Chakraborty, Victor M. Panaretos|arXiv (Cornell University)|Dec 12, 2017

Statistical Methods and Inference参考文献 23被引用 5

一句话总结

本文提出了一种针对协变量中存在真正函数型测量误差的函数线性模型的新型回归校准估计量，其中误差被建模为一般随机过程而非i.i.d.白噪声。通过利用矩阵补全技术估计未知的误差协方差结构，该方法实现了斜率估计的一致性，并在有限样本和真实数据中显著优于谱截断方法，尤其在非i.i.d.误差结构下表现更优。

ABSTRACT

Contamination of covariates by measurement error is a classical problem in multivariate regression, where it is well known that failing to account for this contamination can result in substantial bias in the parameter estimators. The nature and degree of this effect on statistical inference is also understood to crucially depend on the specific distributional properties of the measurement error in question. When dealing with functional covariates, measurement error has thus far been modelled as additive white noise over the observation grid. Such a setting implicitly assumes that the error arises purely at the discrete sampling stage, otherwise the model can only be viewed in a weak (stochastic differential equation) sense, white noise not being a second-order process. Departing from this simple distributional setting can have serious consequences for inference, similar to the multivariate case, and current methodology will break down. In this paper, we consider the case when the additive measurement error is allowed to be a valid stochastic process. We propose a novel estimator of the slope parameter in a functional linear model, for scalar as well as functional responses, in the presence of this general measurement error specification. The proposed estimator is inspired by the multivariate regression calibration approach, but hinges on recent advances on matrix completion methods for functional data in order to handle the nontrivial (and unknown) error covariance structure. The asymptotic properties of the proposed estimators are derived. We probe the performance of the proposed estimator of slope using simulations and observe that it substantially improves upon the spectral truncation estimator based on the erroneous observations, i.e., ignoring measurement error. We also investigate the behaviour of the estimators on a real dataset on hip and knee angle curves during a gait cycle.

研究动机与目标

• 解决现有方法在函数协变量中假设i.i.i.d.或白噪声测量误差所存在的局限性。
• 在标量-和函数型回归中，当测量误差为一般二阶随机过程时，开发斜率参数的一致估计量。
• 处理函数数据中由于未知且复杂的误差协方差结构所引发的不可识别性和不稳定性问题。
• 在误差结构偏离i.i.i.d.假设时，提升对谱截断方法的估计精度。
• 在具有非同质测量误差方差的真实步态数据上，展示该方法的稳健性与实际应用价值。

提出的方法

• 将多变量回归校准框架适配至函数型设置，采用两步法：首先估计真实协变量过程，然后在斜率估计中校正测量误差。
• 采用矩阵补全技术估计函数型测量误差的未知协方差结构，从而在一般误差规范下实现一致推断。
• 使用函数主成分分析（FPCA）将真实协变量和误差过程表示在低秩子空间中，秩由数据驱动选择确定。
• 实施两阶段估计程序：(1) 从观测数据中通过平滑与收缩估计误差协方差，(2) 应用回归校准获得偏差校正的斜率估计。
• 采用数据驱动的谱截断规则选择真实协变量的有效秩，以在高维设置中稳定估计器。
• 使用惩罚似然或平滑方法估计测量误差方差函数，从而允许误差过程中存在异方差性。

实验结果

研究问题

• RQ1 回归校准方法能否被扩展至协变量中存在非i.i.i.d.测量误差的函数线性模型？
• RQ2 当测量误差非白噪声时，所提出估计量的表现与谱截断方法相比如何？
• RQ3 矩阵补全方法能否有效恢复函数型数据中存在测量误差时的未知误差协方差结构？
• RQ4 不可识别性和高秩误差结构对斜率估计的影响是什么？如何缓解？
• RQ5 所提出方法在具有复杂误差结构的真实函数型数据上是否能实现更高的预测精度？

主要发现

• 在偏差和均方误差方面，回归校准估计量显著优于谱截断估计量，尤其在测量误差非i.i.i.d.或异方差时表现更优。
• 即使在无限秩设定下，该方法仍能成功恢复真实斜率函数，且在模拟中估计的有效秩与真实潜在结构一致。
• 在步态数据集中，回归校准估计量的预测决定系数R²达到54.2%，而使用观测（有误）协变量的谱截断估计量仅为50.3%。
• 步态数据中估计的测量误差方差显示出强烈的异方差性，这使得i.i.i.d.误差假设不成立，从而证明了所提方法的必要性。
• 由于有效的秩选择，该估计量在存在高阶特征函数的真实斜率中仍表现出稳定性和适应性。
• 该方法对误差结构的误设具有鲁棒性，在密集和稀疏观测网格下均保持良好性能。