[论文解读] Optimal designs in regression with correlated errors

Holger Dette, Andrey Pepelyshev+1 more|arXiv (Cornell University)|Jan 1, 2015

Optimal Experimental Design Methods参考文献 12被引用 2

一句话总结

本文针对紧区间上误差相关的回归模型提出了一个完整的最优设计解决方案。通过引入一种改进的普通最小二乘估计量（OLS），并利用误差协方差结构的变换，作者实现了渐近效率与最佳线性无偏估计量（BLUE）相当的结果，且在连续时间模型中给出了最优设计与BLUE的显式解析表达式。

ABSTRACT

This paper discusses the problem of determining optimal designs for regression models, when the observations are dependent and taken on an interval. A complete solution of this challenging optimal design problem is given for a broad class of regression models and covariance kernels. We propose a class of estimators which are only slightly more complicated than the ordinary least-squares estimators. We then demonstrate that we can design the experiments, such that asymptotically the new estimators achieve the same precision as the best linear unbiased estimator computed for the whole trajectory of the process. As a by-product we derive explicit expressions for the BLUE in the continuous time model and analytic expressions for the optimal designs in a wide class of regression models. We also demonstrate that for a finite number of observations the precision of the proposed procedure, which includes the estimator and design, is very close to the best achievable. The results are illustrated on a few numerical examples.

研究动机与目标

• 解决回归模型中相关误差下最优设计这一长期存在的挑战。
• 开发一种改进的普通最小二乘估计量，使其渐近精度与最佳线性无偏估计量（BLUE）相当。
• 为具有通用协方差核的连续时间模型，推导最优设计与BLUE的显式解析表达式。
• 证明所提出方法在小样本情况下仍保持近似最优性。

提出的方法

• 提出一种改进的OLS估计量，通过误差过程的变换来处理相关误差。
• 应用类似Doob的表示方法，将相关误差过程转化为类似标准布朗运动的过程。
• 通过变量变换与测度变换，将原始设计问题映射为具有独立增量的规范形式。
• 通过底层测度与协方差结构的变换，推导矩阵加权设计与最优设计。
• 在变换后的模型下，建立改进OLS估计量的协方差矩阵与BLUE之间的等价性。
• 采用Lebesgue-Stieltjes积分处理连续时间框架下的符号测度与矩阵加权设计。

实验结果

研究问题

• RQ1 能否以匹配BLUE精度的方式，为具有相关误差的回归模型构造最优设计？
• RQ2 何种误差过程变换可使相关性下的最优设计问题得以简化？
• RQ3 能否为具有通用协方差核的连续时间回归模型，推导出最优设计与BLUE的显式解析表达式？
• RQ4 所提估计量与设计在有限样本下的性能与理论最优值有多接近？
• RQ5 所提方法在小样本情况下是否仍具有鲁棒性与高效性？

主要发现

• 所提出的改进OLS估计量在相同设计下，其渐近方差与BLUE完全一致，有效实现了最佳可能精度。
• 通过Doob表示与协方差核的变换，推导出连续时间模型中BLUE的显式解析表达式。
• 通过测度变换，为一大类回归模型与协方差核，以闭式形式获得最优设计。
• 在有限样本下，与使用最优设计的BLUE相比，效率损失可忽略不计，即使样本量N较小亦然。
• 变换框架确保了在变换后模型下，改进估计量的协方差矩阵等于BLUE的协方差矩阵，从而证明了渐近等价性。
• 该方法使得连续时间模型中的最优策略可在离散、有限样本设置下实现，且效率损失极小。