[论文解读] The De-Biased Whittle Likelihood for Second-Order Stationary Stochastic Processes

Adam M. Sykulski, Sofia C. Olhede+1 more|arXiv (Cornell University)|May 22, 2016

Statistical Methods and Inference参考文献 31被引用 5

一句话总结

本文提出了一种用于二阶平稳随机过程的去偏Whittle似然方法，该方法在保持标准$Ó(n\log n)$计算效率的同时，修正了参数估计中的偏差。该方法确保了一致性，并显著提高了估计精度，尤其在与现有的去偏技术（如加窗和差分）结合使用时效果更佳。

ABSTRACT

The Whittle likelihood is a computationally efficient pseudo-maximum likelihood inference procedure which is known to produce biased parameter estimates for large classes of time series models. We propose a method for de-biasing Whittle likelihood parameter estimates for second-order stationary stochastic processes. We demonstrate how to compute the de-biased Whittle likelihood in the same $\mathcal{O}(n\log n)$ computational efficiency as standard Whittle likelihood. We prove that the method is consistent, and demonstrate its superior performance in simulation studies. We also demonstrate how the method can be easily combined with standard methods of bias reduction, such as tapering and differencing, to further reduce bias in parameter estimates.

研究动机与目标

• 解决Whittle似然在二阶平稳随机过程参数估计中已知的偏差问题。
• 开发一种计算高效的去偏方法，修正该偏差而不牺牲标准Whittle似然的速度。
• 确保去偏方法保持一致，并适用于广泛的时序模型类别。
• 证明该方法与既有的去偏技术（如加窗和差分）兼容。
• 通过严格的模拟研究和理论一致性证明验证该方法。

提出的方法

• 该方法在标准Whittle似然中引入一个校正项，以抵消二阶平稳过程中已知的参数估计偏差。
• 通过似然的渐近展开推导去偏校正项，从而实现偏差调整的解析计算。
• 通过利用快速傅里叶变换（FFT），该校正后的似然保持与原始Whittle似然相同的$Ó(n\log n)$计算复杂度。
• 该方法在谱域中进行公式化，允许通过谱密度估计实现高效计算。
• 该方法设计为模块化，可无缝集成现有的去偏策略，如加窗和差分。
• 在二阶平稳过程的标准正则条件下，形式化证明了去偏估计量的一致性。

实验结果

研究问题

• RQ1 是否可以在保持计算效率的前提下，系统性地对Whittle似然进行去偏？
• RQ2 与标准Whittle似然相比，去偏Whittle似然在偏差和均方误差方面的表现如何？
• RQ3 去偏方法在多大程度上可以与现有的去偏技术（如加窗和差分）结合使用？
• RQ4 在二阶平稳过程的标准正则条件下，去偏Whittle估计量是否具有一致性？
• RQ5 与原始Whittle似然相比，去偏过程的计算开销如何？

主要发现

• 去偏Whittle似然保持了与标准Whittle似然相同的$Ó(n\log n)$计算复杂度，确保了大规模数据集的可扩展性。
• 该方法被证明是一致的，即随着样本量增加，参数估计量以概率收敛于真实值。
• 模拟研究显示，与标准Whittle似然相比，去偏估计量在各类时间序列模型中显著降低了偏差。
• 该方法在小到中等样本量下表现出更优的均方误差性能，此时偏差最为显著。
• 去偏似然可有效与加窗和差分结合使用，进一步降低估计偏差。
• 理论框架允许偏差校正的解析推导，避免了对计算密集型重抽样方法的需求。