[论文解读] Optimal designs for series estimation in nonparametric regression with correlated data

Holger Dette, Maria Konstantinou+1 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Statistical Process Monitoring参考文献 16被引用 2

一句话总结

该论文通过在马氏误差过程中推导连续时间模型下的最佳线性虚 oracle 估计量，提出了相关误差下非参数回归中系列估计量的最优设计策略。通过使用最小化积分均方误差的最优设计点，构建了数据驱动的估计量，仿真结果表明，与标准估计量相比，该方法在小样本量和结构化相关性（如布朗运动）下显著降低了估计误差。

ABSTRACT

In this paper we investigate the problem of designing experiments for series estimators in nonparametric regression models with correlated observations. We use projection based estimators to derive an explicit solution of the best linear oracle estimator in the continuous time model for all Markovian-type error processes. These solutions are then used to construct estimators, which can be calculated from the available data along with their corresponding optimal design points. Our results are illustrated by means of a simulation study, which demonstrates that the new series estimator has a better performance than the commonly used techniques based on the optimal linear unbiased estimators. Moreover, we show that the performance of the estimators proposed in this paper can be further improved by choosing the design points appropriately.

研究动机与目标

• 解决非参数回归中相关误差下最优设计理论的空白。
• 推导在具有马氏误差结构的连续时间模型中最佳线性虚 oracle 估计量的显式解。
• 通过最优设计点从离散观测中构建实用的、基于数据的估计量。
• 通过最优时间点选择最小化积分均方误差，从而提高估计精度。

提出的方法

• 推导在具有相关误差的连续时间非参数回归模型中傅里叶系数的最佳线性虚 oracle 估计量。
• 采用基于投影的估计方法，并在一般马氏误差结构下求解最优估计量。
• 采用两阶段方法：首先，假设拥有完整轨迹数据，计算虚 oracle 估计量；其次，利用离散观测近似这些估计量。
• 通过最小化离散近似相对于连续虚 oracle 解的均方误差，推导最优设计点。
• 使用广义逆矩阵处理由于正交基函数导致的设计矩阵奇异的问题。
• 采用渐近嵌入技术，将在离散框架中设计问题近似为连续框架。

实验结果

研究问题

• RQ1 当误差相关时，如何为非参数回归中的系列估计量推导最优设计点？
• RQ2 在具有马氏误差的连续时间模型下，傅里叶系数的最佳线性虚 oracle 估计量的形式是什么？
• RQ3 在相关误差结构下，所提估计量与标准线性无偏估计量相比表现如何？
• RQ4 在有限样本中，最优设计选择在多大程度上减少了均方误差？
• RQ5 最优设计点如何依赖于误差协方差核的具体结构？

主要发现

• 当 n = 4 且协方差核为指数型时，最优设计相比非优化设计将均方误差降低了 65–70%。
• 当 n = 7 时，最优设计仍带来明显改进，但随着样本量增加，优势逐渐减弱。
• 对于布朗运动误差，所提估计量 ˆf(J),n 在所有配置下相比基准估计量 ˇf(J),n 将均方误差降低了 16–27%。
• 最优设计点（如 n=4 时为 0.00, 0.25, 0.47, 1.00）与指数核情况下的设计点显著不同，表明其依赖于误差结构。
• 在所有仿真场景中，估计量 ˆf(J),n 均优于 ˇf(J),n，且在小样本量时增益最大。
• 使用广义逆矩阵使得即使在设计矩阵因常数基函数而奇异时，也能实现稳定估计。